受信データを自動的に正規化する
- 更新日2025-12-02
- 3分で読める
入力データファイルをデータテーブルに自動的に変換するルーチンを作成するには、次の手順に従います。
- SystemLink Webアプリケーションで、に移動します。
- Python 3 (ipykernel) をクリックします。
-
リンクされているサンプルプログラムをテンプレートとして使用して、ETLパイプラインを作成します。
サンプルプログラムには、以下の操作を実行するための手順が含まれています。
- ファイルのデータを抽出する。
- データをデータテーブル形式に変換する。
- DataFrame Service API を使用してデータをストレージにロードする。
メモ データテーブルを作成する場合は、以下を実行する必要があります。- 列タイプを定義する。
- 各列のデータタイプを定義する。
- 列の合計数を定義する。列の合計数は2,500を超えることはできません。
列タイプ 説明 NORMAL 列には特別なプロパティはありません。この動作はデフォルトの動作です。 INDEX 列は行ごとに固有の値を提供します。各テーブルには、以下のいずれかのデータタイプを持つINDEX列が1つ必要です。 - INT32
- INT64
- TIMESTAMP
NULLABLE 列にはNULL値を含む行が許可されます。行を追加する際に、NULLABLE列を除外することができます。追加された行では、その列にnull値が使用されます。 メモ テーブルへのデータの追加が完了したら、そのテーブルに関連付けられているリソースを解放します。POST /nidataframe/v1/tables/{id}/data ({id}はテーブルID) の経路を使用します。要求のJSON本文で、endOfDataをtrueに設定します。 -
Notebookを実行するルーチンを作成し、イベントに ファイルアップロード を指定します。ルーチンの作成方法については、「ルーチンを使用して動作を自動化する」を参照してください。
ファイルが作成されると、Notebookが実行され、ファイルデータがデータテーブルに変換されます。
| ダッシュボードから | ダッシュボードのデータテーブルパネルの上部をクリックし、検査を選択します。CSVをダウンロードをクリックします。 メモ ダッシュボードからダウンロードされたデータテーブルは、ダッシュボードのクエリ設定に基づいて間引きされます。 |
| テスト結果から | データテーブルタブでデータテーブルタブを選択し、CSVをダウンロードをクリックします。 メモ テスト結果からダウンロードされたデータテーブルはデシメーションが解除されます。 |
関連コンテンツ
- ストレージとアクセスを効率化するためのデータの正規化
データテーブルは、数百万行のデータを含むテーブルを格納するように設計された、読み取りに最適化された列指向のデータストレージ形式です。
- ルーチンを使用して操作を自動化する
イベント発生時に操作を自動的に行うルーチンを作成できるようになりました。
- ETLの例