組織のNotebook実行設定を構成します。

SystemLink Enterprise (2024年4月以前) では、AWS S3のドキュメントを使用してライフサイクルパラメータを構成します。ライフサイクルパラメータは、Argo Workflowsが各実行時に作成するアーチファクトをクリーンアップします。NIでは、ライフサイクルを2日以上に設定することを推奨します。

組織のNotebook実行を最適化するには、以下の必須の手順に従います。

  1. systemlink-values.yamlファイルで、並列実行できる最大実行数を指定します。
    1. systemlink-values.mdfを開きます。
    2. 並列処理の値を構成します。
    3. maxNumberOfWorkflowsToScheduleパラメータを構成します。
    4. systemlink-values.yamlを保存して閉じます。
    メモ デフォルトでは、各Notebookの実行には最低0.2 CPUと2,176 MiBのメモリが必要です。たとえば、150個の並列実行には、30 vCPUと319 GiBのメモリが必要です。実行時間が短い場合は、並列実行の数を減らしてクラスタサイズを小さくすることができます。
  2. クラスタにArgo Workflowsがデプロイされている場合は、そのデプロイメントを再構成します。
    1. systemlink-values.mdfを開きます。
    2. Argo WorkflowsのinstanceIDの値を構成します。 
      argoworkflows: argo-workflows: controller: instanceID: enabled: true explicitID: sl-notebook-execution-0
    3. systemlink-values.yamlを保存して閉じます。
    4. systemlink-admin-values.yamlを開きます。
    5. Argo Workflows Custom Resource Definitionsのインストールを無効にします。 
      argoworkflowscrds: crds: install: false
    6. systemlink-admin-values.yamlファイルを保存して閉じます。

組織のNotebook実行設定をさらにカスタマイズするには、以下のオプション設定を使用します。

目的 説明
リソースプロファイルを構成して、リソース使用率を最大化する。
メモ この設定は、SystemLink Enterprise (2024年10月以降) でのみ使用できます。
  1. systemlink-values.yamlで、デフォルトのリソース割り当て、および低、中、高のリソースプロファイルを変更します。
    resourceProfiles: low: requests: cpu: "0.1" memory: 4Gi limits: memory: 4Gi
  2. systemlink-admin-values.yamlファイルを保存して閉じます。
実行がデータベースに保持される期間を構成する。
  1. systemlink-values.yamlファイルで、daysToPersistExecutionsの値を変更します。
    メモ started_atの値は、実行がデータベースに保持される日数を指定します。安全上の理由から、この値は2以上に設定してください。この値により、実行の完了前にシステムがデータベースから実行を削除するのを防ぐことができます。
  2. systemlink-admin-values.yamlファイルを保存して閉じます。
ポッドのスケジュールを特定のノードに制限する。

node-selectors.yamlファイルで、以下のパラメータを使用します。

  • notebookExecutionNodeSelector
  • notebookExecutionTolerations

kubectlコマンドを使用して、コマンドラインでノードをテイントまたはラベル付けします。

kubectl taint nodes <node>notebook_execution=true:NoSchedule kubectl label nodes <node>notebook.executor=true