配置原始数据的监控和处理
- 更新时间2025-12-03
- 阅读时长2分钟
Data Preprocessor实例根据处理规则扫描原始数据区域以检测新文件、文件更改或删除的文件。
- 在数据准备中,单击Data Preprocessor实例。
- 选择一个实例并单击。
- 在监控选项卡上,使用以下选项配置扫描和处理。
设置 说明 原始数据区域中的改动 创建、修改或删除文件时,扫描并处理原始数据区域中的数据。 备注 操作系统会向SystemLink通知每个新增、修改或删除的文件。因此,存在大量文件或文件更改时不应使用此设置。文件扫描计划 创建原始数据扫描计划。 连续扫描 定期检查原始数据区域中数据是否添加或更改。 作业文件 批处理特定文件或文件夹。 处理规则 指定对文件更改的响应。 每文件超时 处理文件的最长时间,单位为秒。 计算节点的并行请求数 Data Preprocessor实例发送到计算节点用于执行的请求数。该设置的最大值为64。新Data Preprocessor实例的默认设置为4。增加此数量可以提高吞吐量并提高计算机上的处理资源利用率。 索引适配器 配置适配器。适配器将Data Preprocessor实例与数据库连接,在数据库中存储实例数据。连接的数据库可能在性能和功能上有所不同。 备注 仅当Data Preprocessor实例使用的数据库与标准数据库不同时,才显示此设置。
相关内容
- 指定对文件更改的响应
指定Data Preprocessor实例如何响应原始数据区域中的数据更改。这些规则在系统每次扫描和处理文件时都适用。
- 连续扫描原始数据区域以获取新文件或更改的文件
以短间隔扫描原始数据区域以检测是否添加或删除了文件。连续扫描很快,因为它不扫描修改的文件。
- 手动扫描和处理文件
如果自动处理已停用、文件系统扫描无法正常工作,或者需要立即处理新文件或已更改的文件,请手动扫描或处理Data Preprocessor实例的原始数据区域中的文件。
- 批处理文件夹或文件
使用作业文件在批处理进程中优先对新建文件进行归一化。启用作业文件并指定其位置。
