生データの監視と処理を構成する
- 更新日2025-12-03
- 3分で読める
Data Preprocessorインスタンスは、生データ領域をスキャンして、新規のファイル、ファイルの変更、または削除されたファイルを検出し、処理ルールに従ってデータを処理します。
- データ準備で、Data Preprocessorインスタンスをクリックします。
- インスタンスを選択して、
» 管理をクリックします。 - 監視タブで、以下のオプションでスキャンおよび処理を構成します。
設定 説明 生データ領域の変更 ファイルが作成、変更、または削除されるときに、生データ領域のデータをスキャンして処理します。 メモ オペレーティングシステムは、すべての新規、変更、または削除されたファイルをSystemLinkに通知します。したがって、非常に大量のファイルまたはファイルの変更が予想される場合は、この設定を使用しないでください。ファイルスキャンスケジュール 生データのスキャンスケジュールを作成します。 連続スキャン 生データ領域でデータが追加または変更されたかどうかを定期的に確認します。 ジョブファイル 特定のファイルまたはフォルダをバッチ処理します。 処理ルール ファイルの変更に対する反応を指定します。 1ファイルあたりのタイムアウト ファイルを処理するための最大時間 (秒) です。 計算ノードへの並列要求の数 Data Preprocessorインスタンスが実行のために計算ノードに送信する要求数です。この設定の最大値は64です。新規のData Preprocessorインスタンスのデフォルト設定は4です。この数を増やすと、スループットが増加し、マシンの処理リソースの利用率が増加します。 インデックスアダプタ アダプタを構成します。アダプタは、Data Preprocessorインスタンスとインスタンスデータを保存するデータベースを接続します。接続されたデータベースは、パフォーマンスと機能が異なる場合があります。 メモ この設定は、Data Preprocessorインスタンスが標準データベースとは異なるデータベースを使用する場合にのみ表示されます。
関連コンテンツ
- ファイル変更に対する反応を指定する
Data Preprocessorインスタンスが生データ領域のデータ変更に反応する方法を指定します。これらの規則は、ファイルがスキャンされ、処理されるたびに適用されます。
- 新規または削除されたファイルの生データ領域を継続的にスキャンする
生データ領域を短い間隔でスキャンして、ファイルが追加または削除されたかどうかを検出します。連続スキャンは、変更されたファイルをスキャンしないため高速です。
- ファイルを手動でスキャン/処理する
自動化処理が非アクティブになっている場合、ファイルシステムスキャンが正常に機能しなかった場合、または新規または変更されたファイルをすぐに処理する必要がある場合は、Data Preprocessorインスタンスの生データ領域のファイルを手動でスキャンまたは処理します。
- フォルダまたはファイルをバッチ処理する
ジョブファイルを使用して、バッチプロセスで新規ファイルの調和に優先順位を割り当てます。ジョブファイルの処理を有効にし、その場所を指定します。