OpenTelemetryメトリックおよびPrometheusメトリックを使用して、SystemLink Enterprise DataFrameサービスの状態を監視します。

DataFrameサービスによって発行されるメトリクスおよび関連する依存項目については、以下の表を参照してください。
メモ OpenTelemetryコレクターをデプロイおよび構成し、すべてのOpenTelemetryメトリックをPrometheusメトリックとして公開できます。これらのメトリックをPrometheusに公開することで、Grafanaなどのツールでメトリックを表示できます。

ni.dataframe.row_data_store.{object_storage}_stream_poolを含むメトリックの場合は、サービスにより{object_storage}がs3またはazureに置換されます。どちらに置換されるかは、サービスが接続されているオブジェクトストレージプロバイダによって異なります。サービスは、メトリックの送信時に自動的に置換を実装します。

DataFrameサービス

表 60. DataFrameサービスのパフォーマンスメトリック
KPI? メトリック タイプ 説明 ラベル
はい ni.dataframe.staged_row_data_processor.staging.files.found.count カウンタ ストレージで検出されたステージングファイルの数。

ni.dataframe.staged_row_data_processor.staging.files.orphaned.countと一緒に使用すると、サービスのファイル処理が遅れているかどうかを確認できます。

 なし
はい ni.dataframe.staged_row_data_processor.staging.files.orphaned.count カウンタ 孤立ファイルとして削除されたステージングファイルの数。
ni.dataframe.staged_row_data_processor.staging.files.found.countと一緒に使用すると、サービスのファイル処理が遅れているかどうかを確認できます。理想的な状況では、このメトリックはゼロです。次のいずれかの場合、Xを超える値が発生する可能性があります。
  • サービスとMongoDB間の接続は断続的です。
  • クライアントは、ユーザが調整する必要があるパターンを使用してデータを書き込みます。
 なし
はい ni.dataframe.staged_row_data_processor.staging.files.missing.count カウンタ 見つからないステージングファイルの数。
このメトリックは、以下の問題のいずれかを示します。
  • S3ストレージに一貫性がありません。
  • バックアップおよびリストア操作により、S3とMongoDB間の一貫性が失われました。
  • ゼロ以外のni.dataframe.staged_row_data_processor.staging.files.orphaned.count値と組み合わせた場合に、dataframeservice.ingestion.stagedDataProcessor.stagingFileExpiration Helmの値が低すぎます。
 なし
はい ni.dataframe.staged_row_data_processor.claims.lost.count カウンタ 処理中に失われた要求の数。
このメトリックは、以下の問題のいずれかを示します。
  • dataframeservice.ingestion.stagedDataProcessor.tableClaimExpiration Helmの値が低すぎます。

  • ユーザが、新しいデータの受信中であるテーブルを削除しています。

 なし
はい ni.dataframe.staged_row_data_processor.claims.with.errors.count カウンタ 処理中にエラーが発生した要求の数。

0より大きい値は、サービスが500個のエラーを返しているとして扱います。

 ni_dataframe_staged_row_data_processor_phase: [1, 2]
いいえ ni.dataframe.staged_row_data_processor.skipped.storage.ids.count カウンタ 処理されなかった検出済みストレージIDの数。 なし
いいえ ni.dataframe.staged_row_data_processor.failed.to.claim.count カウンタ 要求されていない検出済みストレージIDの数。 なし
いいえ ni.dataframe.staged_row_data_processor.claims.processed.count カウンタ 処理された要求の数。 ni_dataframe_staged_row_data_processor_phase: [1, 2]
いいえ ni.dataframe.staged_row_data_processor.sent.notifications.count カウンタ 送信された通知の数。 なし
いいえ ni.dataframe.row_data_store.{object_storage}_stream_pool.blocks.count カウンタ オブジェクトストレージのストリームプール内の空きブロックの数。 なし
いいえ ni.dataframe.row_data_store.{object_storage}_stream_pool.allocations.count カウンタ オブジェクトストレージのストリームプールで割り当てられているブロックの数。 なし
いいえ ni.dataframe.row_data_store.{object_storage}_stream_pool.discards.count カウンタ オブジェクトストレージのストリームプールから破棄されたバッファの数。 なし
いいえ ni.dataframe.row_data_store.{object_storage}_stream_pool.free.size.bytes カウンタ オブジェクトストレージのストリームプールで割り当てられているが未使用のバイト数。 なし
いいえ ni.dataframe.row_data_store.{object_storage}_stream_pool.used.size.bytes カウンタ オブジェクトストレージのストリームプールで現在使用中のバイト数。 なし
はい ni.dataframe.table_reaper.tables.reaped.count カウンタ 削除されたテーブルの数。

このメトリックは、テーブルのクリーンアップを監視するために使用します。

 ni_dataframe_table_reaper_reaped_result: [deleted, skipped, failed]
はい ni.dataframe.tables.appendable.count ゲージ 追加可能なアクティブテーブルの数。

このメトリックを使用して、追加可能テーブル数を追加可能テーブルの制限と比較します。

 なし
はい ni.dataframe.iceberg_operations.duration ヒストグラム Iceberg操作の継続時間です。
  • ni_dataframe_iceberg_operations_job_state: [Complete, Error]
  • ni_dataframe_iceberg_operations_operation_type: [Promoting, CompactingData, CompactingManifests, Vacuuming, FinalCompactingData, FinalCompactingManifests, FinalVacuuming]
  • ni_dataframe_iceberg_operations_changes_made: [true, false]

DataFrameサービス依存項目

使用可能なその他のパフォーマンスメトリックとその使用方法については、DataFrameサービスの依存項目のドキュメントを参照してください。
表 61. DataFrameサービスの依存項目のパフォーマンスメトリックのリファレンス
依存項目情報の入手先
ASP.NETASP.NETメトリックのリストについては、「ASP.NET Coreメトリック」および「ASP.NETランタイムのメトリック」を参照してください。
KubernetesKubernetesメトリックのリストについては、「Kubernetesメトリックのリファレンス」、「cAdvisorメトリック」、「kube-state-metricsドキュメント」を参照してください。
DremioDremioメトリックのリストについては、「利用可能なJMXメトリック」を参照してください。