Stockage d'objets

Fournisseurs de stockage Amazon S3 et compatibles Amazon S3

Définissez la configuration suivante dans votre fichier de configuration Helm aws-supplemental-values.yaml ou storage-values.yaml.

Vous pouvez configurer des références à des secrets dans les fichiers aws-secrets.yaml, storage-secrets.yaml ou directement sur le cluster.

À partir de la version 2025-11, fileingestioncdc ajoute les paramètres suivants.

Connexion des services à S3 via IAM

Attribuez un rôle IAM pour connecter les services à Amazon S3. Configurez les comptes de service et les annotations de rôle IAM dans votre fichier de valeurs Helm.

• Créez un compte service pour chaque service en définissant serviceAccount.create: true dans votre fichier de valeurs Helm.

  Remarque Les services Flink ne requièrent pas cette configuration. L'opérateur Flink gère le compte service.
• Créez une stratégie IAM avec la déclaration suivante :

  "Action": [
    "s3:PutObject",
    "s3:ListBucket",
    "s3:GetObject",
    "s3:DeleteObject",
    "s3:AbortMultipartUpload"
  ],
  "Effect": "Allow",
  "Resource": [
    "<s3_bucket_ARN>/*",
    "<s3_bucket_ARN>"
  ]

  Remarque L'espace réservé <s3_bucket_ARN> représente le nom de ressource Amazon pour le compartiment S3 du service.
• Créer un rôle IAM qui applique la nouvelle stratégie IAM.
  Remarque La plupart des rôles IAM utilisent la convention de nom suivante : <release-name>-<service-name>-role. Par exemple, systemlink-feedservice-role. Les services Flink partagent la même configuration que l'opérateur Flink et utilisent : <release-name>-flink-role.

assetservicecdc:
  highAvailability:
    storage:
      s3:
        authType: "AWS_IAM"

flinkoperator:
  flink-kubernetes-operator:
    jobServiceAccount:
      annotations:
        eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-flink-role"

dataframeservice:
  storage:
    s3:
      authType: "AWS_IAM"
  serviceAccount:
    annotations:
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-dataframeservice-role"

dataframeservice:
  sldremio:
    distStorage:
      aws:
        authentication: "metadata"

dataframeservice:
  sldremio:
    storage:
      s3:
        authType: "EC2_METADATA"
        roleArn: "arn:aws:iam::<account-id>:role/<release-name>-dataframeservice-role"

feedservice:
  storage:
    s3:
      authType: "AWS_IAM"
  serviceAccount:
    annotations:
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-feedservice-role"

fileingestion:
  storage:
    s3:
      authType: "AWS_IAM"
  serviceAccount:
    annotations:
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-fileingestion-role"

fileingestioncdc:
  highAvailability:
    storage:
      s3:
        authType: "AWS_IAM"

flinkoperator:
    flink-kubernetes-operator:
      jobServiceAccount:
        annotations:
          eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-flink-role"

nbexecservice:
  storage:
    s3:
      authType: "AWS_IAM"
  serviceAccount:
    annotations:
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-executions-role"

systemscdc:
  highAvailability:
    storage:
      s3:
        authType: "AWS_IAM"

flinkoperator:
  flink-kubernetes-operator:
    jobServiceAccount:
      annotations:
        eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-flink-role"

Configuration de l'authentification Dremio pour S3

Dremio requiert une authentification pour deux chemins de stockage S3.

• Stockage des données — Le compartiment DataFrame Service S3 qui stocke les données de table. Dremio accède à ce compartiment via les métadonnées d'instance EC2 en assumant le rôle IAM du service DataFrame.
• Stockage distribué — Un bucket S3 séparé utilisé par Dremio pour la coordination des requêtes et la mise en cache. À partir de la version 2026-05, NI recommande d’authentifier le stockage distribué via l’identité de pod EKS. Pour les versions antérieures ou lorsque l'identité du pod n'est pas disponible, utilisez l'authentification par métadonnées EC2.

Effectuez les étapes suivantes pour configurer l'authentification Dremio.

1. Assurez-vous que la politique de confiance pour le rôle IAM DataFrame Service respecte les deux principes suivants.
   • L'agent d'identité de pod EKS (pods.eks.amazonaws.com) doit avoir l'autorisation sts:AssumeRole et l'autorisation sts:TagSession.
   • Le rôle de groupe de nœuds EC2 qui exécute les pods Dremio doit avoir l'autorisation sts:AssumeRole.
   Remarque Le rôle DataFrame Service requiert le rôle de groupe de nœuds EC2 en tant que principal de confiance. Dremio accède au bucket DataFrame Service S3 en assumant ce rôle via l'authentification des métadonnées EC2. Si vous avez créé le rôle DataFrame Service après Connecting Services to S3 through IAM, mettez à jour la politique de confiance pour inclure le rôle de groupe de nœuds EC2 ARN.
2. Accordez au groupe de nœuds EC2 qui exécute des pods Dremio l'autorisation d'assumer le rôle IAM du service DataFrame. Pour accorder cette autorisation, ajoutez la déclaration suivante à la stratégie de rôle du groupe de nœuds.

   {
     "Action": [
       "sts:AssumeRole"
     ],
     "Effect": "Allow",
     "Resource": "<dataframeservice_role_ARN>"
   }

3. Définissez dataframeservice.storage.s3.authType sur AWS_IAM.
4. Définissez dataframeservice.sldremio.storage.s3.authType sur EC2_METADATA.
5. Définissez dataframeservice.sldremio.storage.s3.roleArn sur le ARN de rôle IAM du service DataFrame.
6. Configurez l'authentification de stockage distribué en utilisant l'une des options suivantes.

   Tableau 36. Options de configuration de l'authentification de stockage distribué

   Option	Étapes
   Identité de pod EKS Remarque NI recommande cette option	Créez un rôle IAM de stockage distribué Dremio. Créez une stratégie IAM avec les déclarations suivantes : Ajoutez une instruction pour permettre la découverte globale du compartiment S3. { "Action": [ "s3:GetBucketLocation", "s3:ListAllMyBuckets" ], "Effect": "Allow", "Resource": "arn:aws:s3:::*" } Ajoutez une instruction pour autoriser l'accès au compartiment de stockage distribué. { "Action": [ "s3:ListBucket", "s3:ListMultipartUploadParts", "s3:ListBucketMultipartUploads", "s3:AbortMultipartUpload", "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Effect": "Allow", "Resource": [ "<distributed_storage_bucket_ARN>", "<distributed_storage_bucket_ARN>/*" ] } Créez le rôle IAM avec une politique de confiance qui autorise l'agent d'identité de pod EKS (pods.eks.amazonaws.com) avec les autorisations sts:AssumeRole et sts:TagSession. Joignez la politique IAM au rôle. Créez des associations d'identité de pod EKS entre le rôle de stockage distribué Dremio, le compte de service dremio-coordinator et le compte de service dremio-executor. Définissez dataframeservice.sldremio.distStorage.aws.authentication sur podIdentity.
   Métadonnées EC2 Remarque Utilisez cette option lorsque l'identité du pod n'est pas disponible	Ajoutez une déclaration à la politique de rôle pour le groupe de nœuds EC2 afin de permettre la découverte globale du bucket S3. { "Action": [ "s3:GetBucketLocation", "s3:ListAllMyBuckets" ], "Effect": "Allow", "Resource": "arn:aws:s3:::*" } Ajoutez une instruction à la stratégie de rôle du groupe de nœuds EC2 pour autoriser l'accès au compartiment de stockage distribué. { "Action": [ "s3:ListBucket", "s3:ListMultipartUploadParts", "s3:ListBucketMultipartUploads", "s3:AbortMultipartUpload", "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Effect": "Allow", "Resource": [ "<distributed_storage_bucket_ARN>", "<distributed_storage_bucket_ARN>/*" ] } Remarque Si le bucket DataFrame Service S3 et le bucket de stockage distribué Dremio sont identiques, utilisez le même bucket ARN dans les domaines suivants. La politique de rôle du service DataFrame. Les déclarations précédentes. Définissez dataframeservice.sldremio.distStorage.aws.authentication sur métadonnées.

7. Si vos compartiments S3 utilisent le cryptage SSE-KMS, assurez-vous que les rôles suivants ont les autorisations kms:GenerateDataKey et kms:Decrypt sur la clé KMS.
   • Rôle IAM du service DataFrame
   • Rôle de stockage distribué Dremio
     Remarque Si votre authentification de stockage distribué utilise des métadonnées EC2, définissez le rôle du groupe de nœuds EC2.
8. Supprimez la configuration de clé d'accès Dremio S3 des secrets lors de l'utilisation de l'authentification basée sur IAM.

Pour des raisons de sécurité, NI recommande d'exécuter Dremio sur un groupe de nœuds dédié.

Pour utiliser l'authentification de métadonnées EC2 à partir de pods, vous devez avoir une limite de saut IMDS (Instance Metadata Service) supérieure à 1. Une limite de saut supérieure ou égale à 2 permet aux pods de récupérer les informations d'identification en plus du nœud.

Connexion des services à S3 à l'aide de clés d'accès

Connectez vos services à S3 via des clés d'accès dans les cas suivants.

• Fournisseurs de stockage compatibles S3 : seul Amazon S3 supporte l'authentification basée sur les rôles IAM. Pour les autres fournisseurs compatibles S3, utilisez l'authentification par clé d'accès.
• Déploiements AWS sans configuration de rôle IAM : si l'identité de pod et IRSA ne sont pas disponibles, vous pouvez utiliser l'authentification par clé d'accès.

feedservice:
  storage:
    s3:
      secretName: "feeds-s3-credentials"
      accessKeyIdName: "aws-access-key-id"
      accessKeyName: "aws-secret-access-key"
      authType: "ACCESS_KEY"
      bucket: "systemlink-feeds"
      scheme: "https://"
      host: "s3.amazonaws.com"
      port: 443
      region: "us-east-1"

feedservice:
  secrets:
    s3:
      accessKeyId: "<your-access-key-id>"
      accessKey: "<your-secret-access-key>"

Le même modèle s'applique aux autres services lorsque l'authentification IAM n'est pas disponible.

Fournisseurs de Stockage Blob Azure

Définissez la configuration suivante dans votre fichier de configuration Helm azure-supplemental-values.yaml ou storage-values.yaml.

Vous pouvez configurer des références à des secrets dans le fichier azure-secrets.yaml, le fichier storage-secrets.yaml ou directement sur le cluster.

Connexion des services au stockage Azure Blob

Pour configurer l'authentification Azure Blob Storage, vous devez configurer le fichier de valeurs et le fichier de secrets.

Configurez l'authentification Azure Blob Storage en utilisant le fichier de valeurs et le fichier de secrets.

Dans votre fichier azure-supplemental-values.yaml ou storage-values.yaml, spécifiez les paramètres de stockage Azure.

feedservice:
  storage:
    type: "azure"
    azure:
      accountName: "<your-azure-storage-account-name>"
      blobApiHost: "blob.core.windows.net"

Dans votre fichier azure-secrets.yaml, fournissez les informations d'identification d'accès.

feedservice:
  secrets:
    azure:
      accessKey: "<your-azure-storage-access-key>"

Il en va de même pour les autres services.

Limites et considérations financières pour le stockage de fichiers

Pour ajuster les limites et les coûts des services de stockage de fichiers, reportez-vous aux configurations suivantes.