Configurez les paramètres d'exécution des notebooks pour votre organisation.

Pour SystemLink Enterprise avril 2024 et les versions antérieures, utilisez la documentation AWS S3 afin de configurer les paramètres du cycle de vie. Les paramètres du cycle de vie nettoient les artefacts créés par Argo Workflows pour chaque exécution. NI recommande de définir le cycle de vie à 2 jours minimum.

Effectuez les étapes obligatoires suivantes pour optimiser l'exécution des notebooks dans votre organisation.

  1. Dans le fichier systemLink-values.yaml, indiquez le nombre maximal d'exécutions pouvant s'exécuter en parallèle.
    1. Ouvrez systemlink-values.yaml.
    2. Configurez la valeur de parallélisme.
    3. Configurez le paramètre maxNumberOfWorkflowsToSchedule.
    4. Enregistrez et fermez systemlink-values.yaml.
    Remarque Par défaut, chaque exécution de notebook requiert au minimum 0,2 CPU et 2,176 Mio de mémoire. Par exemple, 150 exécutions parallèles nécessitent 30 vCPU et 319 Gio de mémoire. Si vos exécutions sont brèves, vous pouvez réduire le nombre d'exécutions parallèles pour limiter la taille du cluster.
  2. Si un déploiement Argo Workflows est présent sur votre cluster, reconfigurez-le.
    1. Ouvrez systemlink-values.yaml.
    2. Configurez la valeur instanceID pour Argo Workflows. 
      argoworkflows: argo-workflows: controller: instanceID: enabled: true explicitID: sl-notebook-execution-0
    3. Enregistrez et fermez systemlink-values.yaml.
    4. Ouvrez systemlink-admin-values.yaml.
    5. Désactivez l'installation d'Argo Workflows Custom Resource Definitions. 
      argoworkflowscrds: crds: install: false
    6. Enregistrez et fermez le fichier systemlink-admin-values.yaml.

Utilisez les paramètres optionnels suivants pour affiner la configuration des exécutions de notebooks dans votre organisation.

Objectif Description
Configurez les profils de ressources afin d'optimiser leur utilisation.
Remarque Ce paramètre n'est disponible que pour SystemLink Enterprise version octobre 2024 et versions ultérieures.
  1. Dans le fichier systemLink-values.yaml, modifiez l'allocation par défaut des ressources ainsi que les profils faible, moyen ou élevé.
    resourceProfiles: low: requests: cpu: "0.1" memory: 4Gi limits: memory: 4Gi
  2. Enregistrez et fermez le fichier systemlink-admin-values.yaml.
Définissez la durée de conservation d'une exécution dans la base de données.
  1. Dans le fichier systemLink-values.yaml, modifiez la valeur daysToPersistExecutions.
    Remarque La valeur started_at définit le nombre de jours pendant lesquels une exécution est conservée dans la base de données. Pour des raisons de sécurité, fixez cette valeur à au moins 2 jours. Cette valeur empêche le système de supprimer une exécution d'une base de données avant son achèvement.
  2. Enregistrez et fermez le fichier systemlink-admin-values.yaml.
Limitez la planification des pods à un nœud spécifique.

Utilisez les paramètres suivants dans le fichier node-selectors.yaml :

  • notebookExecutionNodeSelector
  • notebookExecutionTolerations

Utilisez la commande kubectl pour appliquer un taint ou étiqueter les nœuds en ligne de commande.

kubectl taint nodes <node>notebook_execution=true:NoSchedule kubectl label nodes <node>notebook.executor=true