MinIO als Artifact Store in ZenML konfigurieren

Hier wird gezeigt, wie sich MinIO als Artifact Store in ZenML einrichten lässt und in der MLOps-Pipeline als Speicherort für Artefakte wie Datasets und KI-Modelle genutzt werden kann.

Voraussetzungen

• ZenML-Instanz und Python-Projekt (Dokumentation)
• MinIO-Server
• MinIO-Client (mc)

Schritte

1. Erstelle mit dem MinIO Client einen neuen Bucket und zugehörigen Access Key:

   # Server-Aliase auflisten
   mc alias list
   
   # Neuen Alias erstellen (falls noch nicht vorhanden)
   mc alias set myserver https://s3.yourserver.com admin_username admin_password
   
   # Einen neuen Bucket namens "zenml" erstellen
   mc mb myserver/zenml
   
   # Vorhandene Policies anzeigen
   mc admin policy list myserver
   
   # Neuen Access Key für Benutzer erstellen (wird in ZenML verwendet)
   mc admin accesskey create myserver admin_username --policy readwrite
   

2. Registriere den neuen Bucket als Artifact Store in ZenML:

   # Bei ZenML-Instanz anmelden
   zenml login https://zenml.yourserver.com
   
   # Die ZenML S3-Integration installieren (falls nicht vorhanden)
   zenml integration install s3
   
   # ZenML-Secret erstellen
   zenml secret create minio_secret \
       --aws_access_key_id='your_generated_access_key' \
       --aws_secret_access_key='your_generated_secret_key'
   
   # ZenML Artifact Store registrieren
   zenml artifact-store register minio_store -f s3 \
       --path='s3://zenml' \
       --authentication_secret=minio_secret \
       --client_kwargs='{"endpoint_url":"https://s3.yourserver.com","region_name":"your-region"}'
   

3. Verwende den neuen Artifact Store in deinem aktuellen ZenML-Stack:

   zenml stack update -a minio_store