Konfigurieren Sie die Notebook-Ausführungseinstellungen für Ihr Unternehmen.

Verwenden Sie für SystemLink Enterprise April 2024 und älter die AWS S3-Dokumentation, um Lifecycle-Parameter zu konfigurieren. Die Lifecycle-Parameter bereinigen die Artefakte, die Argo Workflows für jede Ausführung erstellt. NI empfiehlt, den Lebenszyklus auf mindestens 2 Tage festzulegen.

Gehen Sie zur Optimierung der Notebook-Ausführung für Ihr Unternehmen wie folgt vor:

  1. Geben Sie in der Datei systemlink-values.yaml die maximale Anzahl paralleler Ausführungen an.
    1. Öffnen Sie systemlink-values.yaml.
    2. Konfigurieren Sie den Parallelwert.
    3. Konfigurieren Sie den Parameter maxNumberOfWorkflowsToSchedule.
    4. Speichern und schließen Sie systemlink-values.yaml.
    Hinweis Standardmäßig erfordert jede Notebookausführung mindestens 0,2 CPU und 2,176 MiB Arbeitsspeicher. 150 parallele Ausführungen erfordern zum Beispiel 30 vCPU und 319 GiB an Speicherplatz. Wenn Sie mit kurzen Ausführungen arbeiten, können Sie eine geringere Anzahl paralleler Ausführungen angeben, um die Cluster-Größe kleinzuhalten.
  2. Wenn Sie eine Argo Workflows-Verteilung auf Ihrem Cluster haben, konfigurieren Sie die Verteilung erneut.
    1. Öffnen Sie systemlink-values.yaml.
    2. Konfigurieren Sie den instanceID-Wert für Argo Workflows. 
      argoworkflows: argo-workflows: controller: instanceID: enabled: true explicitID: sl-notebook-execution-0
    3. Speichern und schließen Sie systemlink-values.yaml.
    4. Öffnen Sie systemlink-admin-values.yaml.
    5. Deaktivieren Sie die Installation der Custom Resource Definitions von Argo Workflows. 
      argoworkflowscrds: crds: install: false
    6. Speichern und schließen Sie die Datei systemlink-admin-values.yaml.

Mit den folgenden optionalen Einstellungen können Sie die Notebook-Ausführungseinstellungen für Ihr Unternehmen weiter anpassen.

Ziel Beschreibung
Ressourcenprofile konfigurieren, um die Ressourcenauslastung zu maximieren.
Hinweis Diese Einstellung ist nur für SystemLink Enterprise-Releases ab Oktober 2024 verfügbar.
  1. Bearbeiten Sie in der Datei systemlink-values.yaml die Standardressourcenzuweisung und das niedrige, mittlere oder hohe Ressourcenprofil.
    resourceProfiles: low: requests: cpu: "0.1" memory: 4Gi limits: memory: 4Gi
  2. Speichern und schließen Sie die Datei systemlink-admin-values.yaml.
Festlegen, wie lange eine Ausführung in einer Datenbank bestehen bleiben soll.
  1. Bearbeiten Sie in der Datei systemlink-values.yaml den Wert daysToPersistExecutions.
    Hinweis Der Wert started_at bestimmt, wie viele Tage eine Ausführung in der Datenbank bestehen bleibt. Setzen Sie diesen Wert aus Sicherheitsgründen auf mindestens 2. Dieser Wert hilft dem System zu vermeiden, dass eine Ausführung vor Abschluss aus der Datenbank gelöscht wird.
  2. Speichern und schließen Sie die Datei systemlink-admin-values.yaml.
Planung von Pods auf einen bestimmten Knoten beschränken.

Die Datei node-selectors.yaml enthält die folgenden Parameter:

  • notebookExecutionNodeSelector
  • notebookExecutionTolerations

Verwenden Sie den Befehl kubectl, um den Knoten in der Kommandozeile einen Taint hinzuzufügen oder diese zu beschriften.

kubectl taint nodes <node>notebook_execution=true:NoSchedule kubectl label nodes <node>notebook.executor=true