Surveillez l'état du service DataFrame de SystemLink Enterprise à l'aide des statistiques OpenTelemetry et Prometheus.

Reportez-vous au tableau suivant des métriques émises par le service DataFrame et les dépendances associées.
Remarque Vous pouvez déployer le collecteur OpenTelemetry et le configurer pour exposer toutes les métriques OpenTelemetry comme métriques Prometheus. L’exposition de ces métriques à Prometheus vous permet d’afficher les métriques dans un outil tel que Grafana.

Pour les statistiques qui contiennent ni.dataframe.row_data_store.{object_storage}_stream_pool, le service remplace {object_storage} par s3 ou azure. Le remplacement dépend du fournisseur de stockage d'objets auquel le service est connecté. Le service effectue automatiquement ce remplacement lors de l'émission des métriques.

Service DataFrame

Tableau 60. Indicateurs de performances pour le service DataFrame
KPI? Métrique Type Description Libellés
Oui ni.dataframe.staged_row_data_processor.staging.files.found.count Compteur Nombre de fichiers intermédiaires trouvés dans le stockage.

Utiliser avec ni_dataframe_staged_row_data_processor_staging_files_orphaned_count_total pour comprendre si le service prend du retard dans le traitement des fichiers.

 Aucun
Oui ni.dataframe.staged_row_data_processor.staging.files.orphaned.count Compteur Nombre de fichiers intermédiaires supprimés car orphelins.
Utiliser avec ni_dataframe_staged_row_data_processor_staging_files_found_count_total pour comprendre si le service prend du retard dans le traitement des fichiers. Dans une opération idéale, cette indicateur est à zéro. Une des situations suivantes peut provoquer une valeur supérieure à X.
  • La connexion entre le service et MongoDB est intermittente.
  • Un client écrit des données en utilisant un modèle que vous devez ajuster.
 Aucun
Oui ni.dataframe.staged_row_data_processor.staging.files.missing.count Compteur Le nombre de fichiers intermédiaires manquants.
Cet indicateur indique l'un des problèmes suivants.
  • Le stockage S3 n'est pas cohérent.
  • Une opération de sauvegarde et de restauration a brisé la cohérence entre S3 et MongoDB.
  • Lorsqu'elle est couplée à une valeur ni_dataframe_staged_row_data_processor_staging_files_orphaned_count_total différente de zéro, la valeur Helm dataframeservice.ingestion.stagedDataProcessor.stagingFileExpiration est trop basse.
 Aucun
Oui ni.dataframe.staged_row_data_processor.claims.lost.count Compteur Nombre de demandes perdues pendant le traitement.
Cet indicateur indique l'un des problèmes suivants.
  • La valeur Helm dataframeservice.ingestion.stagedDataProcessor.tableClaimExpiration est trop basse.

  • Les utilisateurs suppriment des tables qui continuent à recevoir de nouvelles données.

 Aucun
Oui ni.dataframe.staged_row_data_processor.claims.with.errors.count Compteur Nombre de demandes ayant rencontré des erreurs pendant le traitement.

Traiter les valeurs supérieures à zéro comme le service renvoyant 500 erreurs.

 ni_dataframe_staged_row_data_processor_phase: [1, 2]
Non ni.dataframe.staged_row_data_processor.skipped.storage.ids.count Compteur Nombre d'identifiants de stockage détectés mais non traités. Aucun
Non ni.dataframe.staged_row_data_processor.failed.to.claim.count Compteur Nombre d'identifiants de stockage détectés sans réclamation. Aucun
Non ni.dataframe.staged_row_data_processor.claims.processed.count Compteur Nombre de demandes traitées. ni_dataframe_staged_row_data_processor_phase: [1, 2]
Non ni.dataframe.staged_row_data_processor.sent.notifications.count Compteur Nombre de notifications envoyées. Aucun
Non ni.dataframe.row_data_store.{object_storage}_stream_pool.blocks.count Compteur Nombre de blocs libres dans le pool de flux pour le stockage d'objets. Aucun
Non ni.dataframe.row_data_store.{object_storage}_stream_pool.allocations.count Compteur Nombre de blocs alloués dans le pool de flux pour le stockage d'objets. Aucun
Non ni.dataframe.row_data_store.{object_storage}_stream_pool.discards.count Compteur Nombre de buffers rejetés du pool de flux pour le stockage d'objets. Aucun
Non ni.dataframe.row_data_store.{object_storage}_stream_pool.free.size.bytes Compteur Nombre d'octets alloués mais inutilisés dans le pool de flux pour le stockage d'objets. Aucun
Non ni.dataframe.row_data_store.{object_storage}_stream_pool.used.size.bytes Compteur Nombre d'octets actuellement utilisés par le pool de flux pour le stockage d'objets. Aucun
Oui ni.dataframe.table_reaper.tables.reaped.count Compteur Nombre de tableaux supprimés.

Utiliser cet indicateur pour surveiller le nettoyage des tableaux.

 ni_dataframe_table_reaper_reaped_result: [deleted, skipped, failed]
Oui ni.dataframe.tables.appendable.count Jauge Nombre de tableaux actifs pouvant être ajoutés.

Utilisez cette métrique pour comparer le nombre de tables auxquelles on peut ajouter des données avec la limite correspondante.

 Aucun
Oui ni.dataframe.iceberg_operations.duration Histogramme Durée des opérations Iceberg.
  • ni_dataframe_iceberg_operations_job_state: [Complete, Error]
  • ni_dataframe_iceberg_operations_operation_type: [Promoting, CompactingData, CompactingManifests, Vacuuming, FinalCompactingData, FinalCompactingManifests, FinalVacuuming]
  • ni_dataframe_iceberg_operations_changes_made: [true, false]

Dépendances de service DataFrame

Pour en savoir plus sur les autres indicateurs de performances disponibles et savoir comment les utiliser, reportez-vous à la documentation des dépendances du service DataFrame
Tableau 61. Références pour les indicateurs de performances pour les dépendances de service DataFrame
DépendanceOù trouver des informations ?
ASP.NETReportez-vous à ASP.NET Core Metrics et ASP.NET Runtime Metrics pour obtenir une liste des indicateurs fournis par ASP.NET.
KubernetesReportez-vous à Kubernetes Metrics Reference, cAdvisor Metrics et la documentation kube-state-metrics pour obtenir une liste des indicateurs Kubernetes.
DremioReportez-vous à Métriques JMX disponibles pour obtenir une liste des métriques Dremio.