オブジェクトストレージ

Amazon S3およびAmazon S3互換ストレージプロバイダ

aws-supplemental-values.yaml Helm構成ファイルまたはstorage-values.yaml Helm構成ファイルで、以下の構成を設定します。

シークレットリファレンスは、aws-secrets.yamlファイル、storage-secrete.yamlファイル、またはクラスタ上で直接構成できます。

2025-11リリースから、fileingestioncdcは以下のパラメータを追加します。

IAMを介してサービスをS3に接続する

サービスをAmazon S3に接続するIAM役割を割り当てます。Helm値ファイルでサービスアカウントとIAM役割注釈を構成します。

• Helm値でserviceAccount.create: trueを設定して、各サービス用のサービスアカウントを作成します。

  メモ Flinkサービスでは、この構成は必要ありません。Flink演算子はサービスアカウントを管理します。
• 以下のステートメントでIAMポリシーを作成します。

  "Action": [
    "s3:PutObject",
    "s3:ListBucket",
    "s3:GetObject",
    "s3:DeleteObject",
    "s3:AbortMultipartUpload"
  ],
  "Effect": "Allow",
  "Resource": [
    "<s3_bucket_ARN>/*",
    "<s3_bucket_ARN>"
  ]

  メモ <s3_bucket_ARN>プレースホルダは、サービスのS3バケットのAmazonリソース名を表します。
• IAMポリシーを適用するIAM役割を作成します。
  メモ ほとんどのIAM役割は、<release-name>-<service-name>-roleという命名規則を使用します。たとえば、systemlink-feedservice-roleなどです。FlinkサービスはFlink Operatorと同じ構成で、<release-name>-flink-roleを使用します。

assetservicecdc:
  highAvailability:
    storage:
      s3:
        authType: "AWS_IAM"

flinkoperator:
  flink-kubernetes-operator:
    jobServiceAccount:
      annotations:
        eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-flink-role"

dataframeservice:
  storage:
    s3:
      authType: "AWS_IAM"
  serviceAccount:
    annotations:
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-dataframeservice-role"

dataframeservice:
  sldremio:
    distStorage:
      aws:
        authentication: "metadata"

dataframeservice:
  sldremio:
    storage:
      s3:
        authType: "EC2_METADATA"
        roleArn: "arn:aws:iam::<account-id>:role/<release-name>-dataframeservice-role"

feedservice:
  storage:
    s3:
      authType: "AWS_IAM"
  serviceAccount:
    annotations:
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-feedservice-role"

fileingestion:
  storage:
    s3:
      authType: "AWS_IAM"
  serviceAccount:
    annotations:
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-fileingestion-role"

fileingestioncdc:
  highAvailability:
    storage:
      s3:
        authType: "AWS_IAM"

flinkoperator:
    flink-kubernetes-operator:
      jobServiceAccount:
        annotations:
          eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-flink-role"

nbexecservice:
  storage:
    s3:
      authType: "AWS_IAM"
  serviceAccount:
    annotations:
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-executions-role"

systemscdc:
  highAvailability:
    storage:
      s3:
        authType: "AWS_IAM"

flinkoperator:
  flink-kubernetes-operator:
    jobServiceAccount:
      annotations:
        eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-flink-role"

Dremio認証をS3用に構成する

Dremioでは、2つのS3ストレージパスの認証が必要です。

• データストレージ―テーブルデータを格納するDataFrameサービスS3バケット。Dremioは、DataFrameサービスIAMの役割を引き受けて、EC2インスタンスメタデータを介してこのバケットにアクセスします。
• 分散ストレージ―クエリの調整とキャッシュのためにDremioが使用する個別のS3バケット。NIでは、2026-05リリース以降、EKSポッドIDを使用して分散ストレージを認証することを推奨しています。以前のリリース、またはポッドIDが使用できない場合は、EC2メタデータ認証を使用してください。

Dremio認証を構成するには、以下の手順に従ってください。

1. DataFrame Service IAM役割の信頼ポリシーで、以下のプリンシパルの両方が許可されていることを確認します。
   • EKSポッドIDエージェント（pods.eks.amazonaws.com）には、sts:AssumeRole権限とsts:TagSession権限が必要です。
   • Dremioポッドを実行するEC2ノードグループの役割には、sts:AssumeRole権限が必要です。
   メモ DataFrameサービスの役割には、信頼できるプリンシパルとしてのEC2ノードグループの役割が必要です。Dremioは、EC2メタデータ認証を介してこの役割を引き受けることで、DataFrame Service S3バケットにアクセスします。「IAMを介してサービスをS3に接続する」に続いてDataFrameサービスの役割を作成した場合は、EC2ノードグループの役割ARNを含むように信頼ポリシーを更新します。
2. Dremioポッドを実行するEC2ノードグループのIAM役割に、DataFrameサービスIAMの役割を引き受ける権限を付与します。この権限を付与するには、以下のステートメントをノードグループの役割ポリシーに追加します。

   {
     "Action": [
       "sts:AssumeRole"
     ],
     "Effect": "Allow",
     "Resource": "<dataframeservice_role_ARN>"
   }

3. dataframeservice.storage.s3.authTypeをAWS_IAMに設定します。
4. dataframeservice.sldremio.storage.s3.authTypeをEC2_METADATAに設定します。
5. dataframeservice.sldremio.storage.s3.roleArnをDataFrame Service IAM role ARNに設定します。
6. 以下のオプションのいずれかを使用して分散ストレージ認証を構成します。

   表 41. 分散ストレージ認証を構成するためのオプション

   オプション	ステップ
   EKSポッドID メモ NIはこのオプションを推奨	Dremio分散ストレージIAMの役割を作成します。 以下のステートメントでIAMポリシーを作成します。 ステートメントを追加して、グローバルS3バケット検出を許可します。 { "Action": [ "s3:GetBucketLocation", "s3:ListAllMyBuckets" ], "Effect": "Allow", "Resource": "arn:aws:s3:::*" } 分散ストレージバケットへのアクセスを許可するステートメントを追加します。 { "Action": [ "s3:ListBucket", "s3:ListMultipartUploadParts", "s3:ListBucketMultipartUploads", "s3:AbortMultipartUpload", "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Effect": "Allow", "Resource": [ "<distributed_storage_bucket_ARN>", "<distributed_storage_bucket_ARN>/*" ] } EKSポッドIDエージェント (pods.eks.amazonaws.com) にsts:AssumeRoleおよびsts:TagSession権限を許可する信頼ポリシーでIAM役割を作成します。 IAMポリシーを役割に関連付けます。 Dremio分散ストレージの役割、dremio-coordinatorサービスアカウント、およびdremio-executorサービスアカウント間にEKSポッドID関連付けを作成します。 dataframeservice.sldremio.distStorage.aws.authenticationをpodIdentityに設定します。
   EC2メタデータ メモ ポッドIDが使用できない場合、このオプションを使用します。	EC2ノードグループのロールポリシーにステートメントを追加して、グローバルS3バケットの検出を可能にします。 { "Action": [ "s3:GetBucketLocation", "s3:ListAllMyBuckets" ], "Effect": "Allow", "Resource": "arn:aws:s3:::*" } EC2ノードグループ役割ポリシーにステートメントを追加して、分散ストレージバケットへのアクセスを許可します。 { "Action": [ "s3:ListBucket", "s3:ListMultipartUploadParts", "s3:ListBucketMultipartUploads", "s3:AbortMultipartUpload", "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Effect": "Allow", "Resource": [ "<distributed_storage_bucket_ARN>", "<distributed_storage_bucket_ARN>/*" ] } メモ DataFrame Service S3バケットとDremio分散ストレージバケットが同じ場合、以下の領域で同じバケットARNを使用します。 DataFrameサービスの役割ポリシー。 上記のステートメント。 dataframeservice.sldremio.distStorage.aws.authenticationをmetadataに設定します。

7. S3バケットがSSE-KMS暗号化を使用する場合、以下の役割にKMSキーに対するkms:GenerateDataKeyおよびkms:Decrypt権限があることを確認してください。
   • DataFrameサービスIAMの役割
   • Dremio分散ストレージの役割
     メモ 分散ストレージ認証でEC2メタデータを使用する場合は、EC2ノードグループの役割を設定します。
8. IAMベースの認証を使用する場合は、シークレットからDremio S3アクセスキー構成を削除します。

セキュリティ上の理由から、NIはDremioを専用のノードグループで実行することを推奨します。

ポッドからEC2メタデータ認証を使用するには、インスタンスメタデータサービス (IMDS) のホップ制限が1より大きい必要があります。ホップ制限が2以上の場合、ポッドはノードに加えて資格情報も取得できます。

アクセスキーを使用してサービスをS3に接続する

以下のシナリオでは、アクセスキーを使用してサービスをS3に接続します。

• S3互換ストレージプロバイダ — Amazon S3のみがIAM役割ベースの認証をサポートしています。その他のS3互換プロバイダでは、アクセスキー認証を使用します。
• IAM役割構成なしのAWSデプロイメント — ポッドIDとIRSAが使用できない場合は、アクセスキー認証を使用できます。

feedservice:
  storage:
    s3:
      secretName: "feeds-s3-credentials"
      accessKeyIdName: "aws-access-key-id"
      accessKeyName: "aws-secret-access-key"
      authType: "ACCESS_KEY"
      bucket: "systemlink-feeds"
      scheme: "https://"
      host: "s3.amazonaws.com"
      port: 443
      region: "us-east-1"

feedservice:
  secrets:
    s3:
      accessKeyId: "<your-access-key-id>"
      accessKey: "<your-secret-access-key>"

IAM認証が使用できない場合、同じパターンが他のサービスにも適用されます。

Azure Blobストレージプロバイダ

azure-supplemental-values.yaml Helm構成ファイルまたはstorage-values.yaml Helm構成ファイルで、以下の構成を設定します。

シークレットリファレンスは、azure-secrets.yamlファイル、storage-secrets.yamlファイル、またはクラスタ上で直接構成できます。

サービスをAzure Blobストレージに接続する

Azure Blobストレージ認証を構成するには、値ファイルとシークレットファイルの両方を構成する必要があります。

値ファイルとシークレットファイルを使用してAzure Blobストレージ認証を構成します。

azure-supplemental-values.yamlまたはstorage-values.yamlファイルで、Azureストレージパラメータを指定します。

feedservice:
  storage:
    type: "azure"
    azure:
      accountName: "<your-azure-storage-account-name>"
      blobApiHost: "blob.core.windows.net"

azure-secrets.yamlファイルで、アクセス資格情報を指定します。

feedservice:
  secrets:
    azure:
      accessKey: "<your-azure-storage-access-key>"

同じパターンが他のサービスにも適用されます。

ファイルストレージの制限とコストに関する注意事項

ファイルストレージサービスの制限とコストに関する注意事項を調整するには、以下の構成を参照してください。