一部のSystemLink Enterpriseサービスでは、ファイルストレージプロバイダが必要です。

サポートされているプロバイダは、以下のとおりです。
  • Amazon S3ストレージ
  • Amazon S3互換ストレージ
  • Azure Blobストレージ
メモ Amazon S3互換ファイルストレージプロバイダは、Amazon S3 API一式を実装している必要があります。詳細については、「Amazon S3 API リファレンス」を参照してください。DataFrameサービスは、GCS Amazon S3相互運用性XML APIをサポートしていません。

Amazon S3ストレージおよびAzure Blobストレージの以下の表に記載されているパラメータは、通常、複数の構成で共有されます。共有は、Helm値ファイルのYAMLアンカー構文を介して行われます。この構文を使用すると、複数の値ファイルのすべてで共通の構成を簡単に共有できます。記載された個々の値はカスタム値でオーバーライドできます。

Amazon S3およびAmazon S3互換ストレージプロバイダ

メモ Amazon S3ストレージ内のオブジェクトは、SSE-S3またはバケットキーを使用したSSE-KMSを用いて暗号化できます。詳細については、「暗号化によるAmazon S3データの保護」を参照してください。

AWS/aws-supplemental-values.yaml Helm構成ファイルまたはOnPrem/storage-values.yaml Helm構成ファイルで、以下の構成を設定します。環境への構成のデプロイの詳細については、「SystemLink Enterpriseをアップデートする」を参照してください。

シークレットリファレンスは、AWS/aws-secrets.yamlファイルまたはOnPrem/storage-secrete.yamlファイルで、あるいはクラスタ上で直接、構成できます。構成でファイル保存のために必要となるシークレットの管理の詳細については、「必須のシークレット」を参照してください。

表 9. Amazon S3およびAmazon S3互換ストレージのパラメータ
2025-07リリース前のパラメータ 2025-07リリース後のパラメータ 詳細

該当なし
  • dataframeservice.storage.type
  • fileingestion.storage.type
  • feedservice.storage.type
  • nbexecservice.storage.type

この値はサービスストレージタイプを表します。値をs3に設定します。
  • dataframeservice.s3.port
  • fileingestion.s3.port
  • feedservice.s3.port
  • nbexecservice.s3.port
  • dataframeservice.storage.s3.port
  • fileingestion.storage.s3.port
  • feedservice.storage.s3.port
  • nbexecservice.storage.s3.port

この値は、ストレージプロバイダサービスのポート番号を表します。
  • dataframeservice.s3.host
  • fileingestion.s3.host
  • feedservice.s3.host
  • nbexecservice.s3.host
  • dataframeservice.storage.s3.host
  • fileingestion.storage.s3.host
  • feedservice.storage.s3.host
  • nbexecservice.storage.s3.host

この値は、ストレージプロバイダサービスのホスト名を表します。
  • dataframeservice.s3.schemeName
  • fileingestion.s3.scheme
  • feedservice.s3.scheme
  • nbexecservice.s3.scheme
  • dataframeservice.storage.s3.schemeName
  • fileingestion.storage.s3.scheme
  • feedservice.storage.s3.scheme
  • nbexecservice.storage.s3.scheme

この値は、ストレージプロバイダサービスのスキームを表します。この値は通常、httpsです。
  • dataframeservice.s3.region
  • fileingestion.s3.region
  • feedservice.s3.region
  • nbexecservice.s3.region
  • dataframeservice.storage.s3.region
  • fileingestion.storage.s3.region
  • feedservice.storage.s3.region
  • nbexecservice.storage.s3.region

この値は、S3バケットがあるAWSリージョンを表します。
  • dataframeservice.sldremio.distStorage

変更なし

<ATTENTION>フラグを解決します。

これらの設定は、DataFrameサービスに必要な分散ストレージを構成します。
  • dataframeservice.storage.s3.auth.secretName
  • fileingestion.storage.s3.secretName
  • feedservice.storage.s3.secretName
  • nbexecservice.storage.s3.secretName

変更なし

ストレージプロバイダサービスとの接続に使用する、資格情報のシークレット名です。

IAMを介してサービスをS3に接続する

サービスをAmazon S3に接続するIAM役割を割り当てます。

IAMを介して各サービスを接続するには、システムが以下の前提条件を満たしている必要があります。
  • Helm値serviceAccount: create: trueを設定して、各サービスのアカウントを作成します。
  • 以下のステートメントでIAMポリシーを作成します。
    "Action": [
  "s3:PutObject",
  "s3:ListBucket",
  "s3:GetObject",
  "s3:DeleteObject",
  "s3:AbortMultipartUpload"
],
"Effect": "Allow",
"Resource": [
  "<s3_bucket_ARN>/*",
  "<s3_bucket_ARN>"
]
    メモ <s3_bucket_ARN>プレースホルダは、サービスのS3バケットのAmazonリソース名を表します。
  • 新しいIAMポリシーを適用するIAM役割を作成します。
    メモ 各IAM役割は、<release-name>-<service-name>-roleという命名規則を使用する必要があります。たとえば、systemlink-feedservice-roleなどです。

これらの前提条件を満たした後、以下の構成を含むようにHelm値ファイルを更新します。

サービス 構成
DataFrameサービス このサービスは現在IAMをサポートしていません。
フィードサービス 
feedservice: 
  storage: 
    s3: 
      authType: "AWS_WEB_IDENTITY_TOKEN"
feedservice: 
  serviceAccount: 
    annotations: 
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-feedservice-role"
ファイル取り込みサービス 
fileingestion: 
  storage: 
    s3: 
      authType: "AWS_WEB_IDENTITY_TOKEN"
fileingestion: 
  serviceAccount: 
    annotations: 
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-fileingestion-role"
Notebook実行サービス 
nbexecservice: 
  storage: 
    s3: 
      authType: "AWS_WEB_IDENTITY_TOKEN"
nbexecservice: 
  serviceAccount: 
    annotations: 
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-executions-role"

Azure Blobストレージプロバイダ

メモ DataFrameサービスのストレージアカウントでは、BLOBソフト削除と階層型ネームスペースを無効にする必要があります。

Azure BlobストレージのAzure/azure-supplemental-values.yaml Helm構成ファイルで、以下の構成を設定します。

シークレットリファレンスは、Azure/azure-secrets.yamlファイルで、またはクラスタ上で直接、構成できます。これらの構成の環境へのデプロイの詳細については、「SystemLink Enterpriseをアップデートする」を参照してください。

メモ DataFrameサービスのストレージアカウントでは、BLOBソフト削除と階層型ネームスペースが無効になっている必要があります。
表 10. Azure Blobストレージのパラメータ
2025-07リリース以降のパラメータ 詳細
  • dataframeservice.storage.type
  • fileingestion.storage.type
  • feedservice.storage.type
  • nbexecservice.storage.type

この値は、サービスのストレージタイプを表します。値をazureに設定します。
  • dataframeservice.storage.azure.blobApiHost
  • fileingestion.storage.azure.blobApiHost
  • feedservice.storage.azure.blobApiHost
  • nbexecservice.storage.azure.blobApiHost

この値は、アカウント名のない、Azure Blobストレージのホストを表します。たとえば、blob.core.windows.netまたはblob.core.usgovcloudapi.netという値を設定できます。

ストレージがデフォルトポートを使用していない場合は、ホストの末尾にポートを追加します。例: blob.core.windows.net:1234
  • dataframeservice.storage.azure.dataLakeApiHost

この値は、アカウント名のない、接続先のAzure Data Lake Storageのホストとポートを表します。たとえば、dfs.core.windows.netという値を設定できます。

ストレージがデフォルトポートを使用していない場合は、ホストの末尾にポートを追加します。例: dfs.core.windows.net:1234
  • dataframeservice.storage.azure.accountName
  • fileingestion.storage.azure.accountName
  • feedservice.storage.azure.accountName
  • nbexecservice.storage.azure.accountName

この値は、サービスのストレージアカウントを表します。NIでは、サービスごとに異なるストレージアカウントを使用することを推奨します。

ファイルストレージの制限とコストに関する注意事項

ファイルストレージサービスの制限とコストに関する注意事項を調整するには、以下の構成を参照してください。

表 11. ファイルストレージに関する注意事項
注意事項 構成
ストレージコストを削減する
不完全なマルチパートアップロードをクリーンアップするようにサービスを構成します。Amazon S3を使用している場合は、S3バケットでAbortIncompleteMultipartUpload値を構成します。
メモ Azureストレージでは、コミットされていないブロックが7日後に自動的に削除されます。その他のS3互換プロバイダについては、プロバイダのドキュメントを参照してください。
1人のユーザが1秒にアップロードできるファイル数を調整する

fileingestion.rateLimits.upload値を構成します。

デフォルトでは、1ユーザあたり3ファイル/秒です。複数のレプリカ間で負荷を分散すると、指定されたレートよりも有効レートが高くなります。
ユーザがアップロードできる最大ファイルサイズを調整する

fileingestion.uploadLimitGB値を構成します。

デフォルト値は2 GBです。
1つのレプリカがデータを取り込むために処理できる同時要求数を調整する

dataframeservice.rateLimits.ingestion.requestLimit値を構成します。