Mehrere SystemLink Enterprise-Dienste erfordern einen Dateispeicher-Provider.

Die folgende Liste enthält die unterstützten Provider:
  • Amazon S3 Storage
  • Amazon S3-kompatibler Speicher
  • Azure Blob Storage
Hinweis Ein mit Amazon S3 kompatibler Dateispeicherprovider muss die vollständige Amazon S3-API implementieren. Weitere Informationen finden Sie unter Amazon S3 API-Referenz. Der DataFrame-Dienst unterstützt nicht die interoperable XML-API von GCS für Amazon S3.

Die in den folgenden Tabellen aufgeführten Parameter für Amazon S3 Storage und Azure Blob Storage werden in der Regel von mehreren Konfigurationen gemeinsam genutzt. Die gemeinsame Nutzung erfolgt über die YAML-Anchor-Syntax in den Helm-Wertedateien. Diese Syntax bietet eine komfortable Möglichkeit, eine gemeinsame Konfiguration in Ihren Wertedateien zu teilen. Einzelne Referenzen auf diese Werte können mit benutzerdefinierten Werten überschrieben werden.

Amazon S3- und mit Amazon S3 kompatible Speicherprovider

Hinweis Sie können Objekte im Amazon-S3-Speicher entweder mit SSE-S3 oder SSE-KMS mit Hilfe eines Bucket-Schlüssels verschlüsseln. Weitere Informationen entnehmen Sie bitte folgendem Abschnitt: Schutz von Amazon S3-Daten mit Verschlüsselung.

Legen Sie die folgende Konfiguration in der Helm-Konfigurationsdatei AWS/aws-supplemental-values.yaml oder der Helm-Konfigurationsdatei OnPrem/storage-values.yaml fest. Weitere Informationen zum Verteilen von Konfigurationen in Ihrer Umgebung finden Sie unter Aktualisieren von SystemLink Enterprise.

Sie können Referenzen auf Secrets in der Datei AWS/aws-secrets.yaml, der Datei OnPrem/storage-secrete.yaml oder direkt auf dem Cluster konfigurieren. Weitere Informationen zur Verwaltung der Secrets, die für die Konfiguration zum Dateispeichern erforderlich sind, finden Sie unter Erforderliche Secrets.

Tabelle 9. Parameter für Amazon S3- und Amazon S3-kompatible Speicher
Parameter vor dem Release 2025-07 Parameter nach dem Release 2025-07 Details

Nicht zutreffend
  • dataframeservice.storage.type
  • fileingestion.storage.type
  • feedservice.storage.type
  • nbexecservice.storage.type

Dieser Wert steht für den Dienstspeichertyp. Setzen Sie den Wert auf s3.
  • dataframeservice.s3.port
  • fileingestion.s3.port
  • feedservice.s3.port
  • nbexecservice.s3.port
  • dataframeservice.storage.s3.port
  • fileingestion.storage.s3.port
  • feedservice.storage.s3.port
  • nbexecservice.storage.s3.port

Dieser Wert steht für die Portnummer des Dienstes des Speicherproviders.
  • dataframeservice.s3.host
  • fileingestion.s3.host
  • feedservice.s3.host
  • nbexecservice.s3.host
  • dataframeservice.storage.s3.host
  • fileingestion.storage.s3.host
  • feedservice.storage.s3.host
  • nbexecservice.storage.s3.host

Dieser Wert steht für den Host-Namen des Dienstes des Speicherproviders.
  • dataframeservice.s3.schemeName
  • fileingestion.s3.scheme
  • feedservice.s3.scheme
  • nbexecservice.s3.scheme
  • dataframeservice.storage.s3.schemeName
  • fileingestion.storage.s3.scheme
  • feedservice.storage.s3.scheme
  • nbexecservice.storage.s3.scheme

Dieser Wert steht für das Schema des Dienstes des Speicherproviders. Dieser Wert ist in der Regel https.
  • dataframeservice.s3.region
  • fileingestion.s3.region
  • feedservice.s3.region
  • nbexecservice.s3.region
  • dataframeservice.storage.s3.region
  • fileingestion.storage.s3.region
  • feedservice.storage.s3.region
  • nbexecservice.storage.s3.region

Dieser Wert steht für den AWS-Bereich, in dem sich der S3-Bucket befindet.
  • dataframeservice.sldremio.distStorage

Unverändert

Beheben Sie die <ATTENTION>-Flags.

Diese Einstellungen konfigurieren den verteilten Speicher, der für den DataFrame-Dienst erforderlich ist.
  • dataframeservice.storage.s3.auth.secretName
  • fileingestion.storage.s3.secretName
  • feedservice.storage.s3.secretName
  • nbexecservice.storage.s3.secretName

Unverändert

Secret-Name für Zugangsdaten, die für die Verbindung mit dem Speicherproviderdienst verwendet werden.

Verbinden von Diensten mit S3 über IAM

Weisen Sie eine IAM-Rolle zu, um Dienste mit Amazon S3 zu verbinden.

Ihr System muss die folgenden Voraussetzungen erfüllen, um jeden Dienst über IAM zu verbinden.
  • Erstellen Sie für jeden Dienst ein Konto, indem Sie folgenden Helm-Wert festlegen: serviceAccount: create: true.
  • Erstellen Sie eine IAM-Richtlinie mit folgender Anweisung:
    "Action": [
  "s3:PutObject",
  "s3:ListBucket",
  "s3:GetObject",
  "s3:DeleteObject",
  "s3:AbortMultipartUpload"
],
"Effect": "Allow",
"Resource": [
  "<s3_bucket_ARN>/*",
  "<s3_bucket_ARN>"
]
    Hinweis Der Platzhalter <s3_bucket_ARN> steht für den Amazon-Ressourcennamen für den S3-Bucket des Dienstes.
  • Erstellen Sie eine IAM-Rolle, die die neue IAM-Richtlinie anwendet.
    Hinweis Jede IAM-Rolle muss die folgende Benennungskonvention verwenden: <release-name>-<service-name>-role. Beispiel: systemlink-feedservice-role.

Nachdem Sie diese Voraussetzungen erfüllt haben, aktualisieren Sie die Helm-Wertedatei, um die folgenden Konfigurationen aufzunehmen.

Dienst Konfiguration
DataFrame-Dienst Dieser Dienst unterstützt derzeit IAM nicht.
Feed-Dienst 
feedservice: 
  storage: 
    s3: 
      authType: "AWS_WEB_IDENTITY_TOKEN"
feedservice: 
  serviceAccount: 
    annotations: 
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-feedservice-role"
Datei-Ingestion-Dienst 
fileingestion: 
  storage: 
    s3: 
      authType: "AWS_WEB_IDENTITY_TOKEN"
fileingestion: 
  serviceAccount: 
    annotations: 
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-fileingestion-role"
Notebook-Ausführungsdienst 
nbexecservice: 
  storage: 
    s3: 
      authType: "AWS_WEB_IDENTITY_TOKEN"
nbexecservice: 
  serviceAccount: 
    annotations: 
      eks.amazonaws.com/role-arn: "arn:aws:iam::<account-id>:role/<release-name>-executions-role"

Azure Blob Storage-Provider

Hinweis Für das Speicherkonto des DataFrame-Dienstes müssen Sie blob soft delete und den hierarchischen Namensraum deaktivieren.

Legen Sie die folgende Konfiguration in der Helm-Konfigurationsdatei Azure/azure-supplemental-values.yaml für Azure Blob Storage fest.

Referenzen auf Secrets können in der Datei Azure/azure-secrets.yaml oder direkt im Cluster konfiguriert werden. Weitere Informationen zum Verteilen dieser Konfigurationen in Ihrer Umgebung finden Sie unter Aktualisieren von SystemLink Enterprise.

Hinweis Für das Speicherkonto des DataFrame-Dienstes müssen blob soft delete und der hierarchische Namensraum deaktiviert sein.
Tabelle 10. Parameter für Azure Blob Storage
Parameter ab dem Release 2025-07 Details
  • dataframeservice.storage.type
  • fileingestion.storage.type
  • feedservice.storage.type
  • nbexecservice.storage.type

Dieser Wert steht für die Speicherart des Dienstes. Setzen Sie den Wert auf azure.
  • dataframeservice.storage.azure.blobApiHost
  • fileingestion.storage.azure.blobApiHost
  • feedservice.storage.azure.blobApiHost
  • nbexecservice.storage.azure.blobApiHost

Dieser Wert steht für den Host von Azure Blob Storage ohne Kontonamen. Sie können den Wert beispielsweise auf blob.core.windows.net oder blob.core.usgovcloudapi.net setzen.

Wenn Ihr Speicher nicht den Standardport verwendet, fügen Sie den Port am Ende des Hosts hinzu. Zum Beispiel blob.core.windows.net:1234.
  • dataframeservice.storage.azure.dataLakeApiHost

Dieser Wert steht für den Host und den Port des Azure Data Lake Storage, mit dem eine Verbindung ohne Kontonamen hergestellt werden soll. Sie können den Wert beispielsweise auf „dfs.core.windows.net“ setzen.

Wenn Ihr Speicher nicht den Standardport verwendet, fügen Sie den Port am Ende des Hosts hinzu. Zum Beispiel: dfs.core.windows.net:1234.
  • dataframeservice.storage.azure.accountName
  • fileingestion.storage.azure.accountName
  • feedservice.storage.azure.accountName
  • nbexecservice.storage.azure.accountName

Dieser Wert steht für das Speicherkonto Ihres Dienstes. NI empfiehlt die Verwendung unterschiedlicher Speicherkonten für unterschiedliche Dienste.

Hinweise zu Grenzwerten und Kosten für die Dateispeicherung

Um Grenzwerte anzupassen und Kosten zu reduzieren, nutzen Sie die unten beschriebenen Konfigurationen.

Tabelle 11. Überlegungen zum Dateispeicher
Überlegung Konfiguration
Reduzierung der Speicherkosten
Um unvollständige Multipart-Uploads zu bereinigen, konfigurieren Sie Ihren Dienst. Wenn Sie Amazon S3 verwenden, konfigurieren Sie den Wert AbortIncompleteMultipartUpload auf Ihren S3-Buckets.
Hinweis Azure Storage löscht nicht übernommene Blöcke automatisch nach sieben Tagen. Ob andere Provider S3-kompatibel sind, erfahren Sie in der Dokumentation des jeweiligen Providers.
Anpassung der Anzahl der Dateien, die ein einzelner Benutzer pro Sekunde hochladen kann

Konfigurieren Sie den Wert fileingestion.rateLimits.upload.

Standardmäßig ist der Wert 3 Dateien pro Sekunde pro Benutzer. Durch Lastverteilung zwischen Replikaten ist die effektive Rate höher als die angegebene Rate.
Anpassung der maximalen Dateigröße, die Benutzer hochladen können

Konfigurieren Sie den Wert fileingestion.uploadLimitGB.

Standardmäßig ist der Wert 2 GB.
Anpassung der Anzahl der gleichzeitigen Anfragen, die ein einzelnes Replikat zum Aufnehmen von Daten verwenden kann

Konfigurieren Sie den Wert dataframeservice.rateLimits.ingestion.requestLimit.