ストレージとアクセスを効率化するためのデータの正規化
- 更新日2025-05-12
- 5分で読める
データテーブルは、数百万行のデータを含むテーブルを格納するように設計された、読み取りに最適化された列指向のデータストレージ形式です。Data Frame Service APIを使用すると、複数のファイル形式のデータを1つの共通形式に正規化できます。すべてのデータに1つの形式を使用することで、再利用可能な解析ルーチンと視覚化を作成できます。
データテーブルを使用して、波形データまたは時系列データを格納できます。時系列データを格納するデータテーブルに定数の時間間隔は必要ありません。
データテーブルに対して次のアクションを実行できます。
- 複数の抽出、変換、およびロード (FFT) パイプラインを使用して、異なるデータ構造を持つ異なるファイルタイプをデータテーブルに変換します。
- 一般的な解析ルーチンと視覚化テクニックを使用して、1つの正規化された形式でやりとりします。
- 1回のAPI呼び出しで、データテーブルに複数の新しい行を追加します。データテーブルの行数は無制限です。テーブルの読み取り時に任意の列で行を並べ替えることができるため、行は任意の順序にすることができます。メモ 行データは、書き込まれた後、最大5分間読み取りに使用できない場合があります。
- Data Frame Service APIを使用して、データテーブル内のデータを読み取り、列と行数を指定します。
- テーブルメタデータをクエリして、クエリのパラメータに一致する1つ以上のデータテーブルを返します。これは、テスト結果またはその他のテストメタデータに関連付けられているテーブルを識別するのに役立ちます。
- テーブル内で特定のデータをクエリします。これは、テーブルメタデータにキャプチャされていないデータ内の特定の特性を検索する場合に役立ちます。たとえば、データテーブル内でクエリして、特定のしきい値を超える値の最初のインスタンスを検索できます。
- データを正規化してスプレッドシートエディタに表示するために、クエリしたテーブルデータをコンマ区切り値 (CSV) ファイルとしてエクスポートします。
テーブル内でクエリを行う場合、データを発呼者に返す前にデータを間引くことができます。以下のいずれかの方法でデータを間引きます。デシメーションは、大きなデータセットを視覚化する場合に役立ちます。デシメーションはまた、データの形状が個々のポイントよりも重要な場合の解析にも役立ちます。たとえば、MAX_MINデシメーションメソッドを使用して、データテーブル内のすべてのデータを返さずに外れ値を見つけることができます。
方法 | 説明 | 例 |
---|---|---|
LOSSY |
結果セットの均一サンプルから設定された最大ポイント数を返します。 データポイントが指定された最大値より少ない場合、デシメーションはすべてのポイントを返します。この方法では、データの一般的な形状を素早く確認できますが、確度は低下します。結果セットのプロット中にスパイクが表示される保証はありません。 |
|
MAX_MIN |
選択したYチャンネルがデータの各間隔で最大値と最小値に達するポイントを返します。 このデシメーションにより、連続ラインを使用してデータをプロットできます。連続ラインを使用すると、スパイクを含むデータの形状が維持されます。 |
|
ENTRY_EXIT |
各間隔のエントリポイントと終了ポイントを追加する点以外は、MAX_MINと同様のポイントのセットを返します。 開始は、xの値が区間内で最小である、グラフの最も左のポイントです。終了は、xの値が区間内で最大である最も右のポイントです。 |
|
Null値およびNaN値は、間隔あたりのデータポイント数が少なすぎると、以下の方法でデータの形状を破壊する可能性があります。
- NaN値は、これらの値を含む列の最小値または最大値として表示されます。
- Null値は無限のように扱われ、最大値として表示されます。
関連コンテンツ
- 受信データを自動的に正規化する
入力データファイルをデータテーブルに自動的に変換するルーチンを作成するには、次の手順に従います。