Gestion des dépendances Spark dans Ilum

Ilum provides three methods to handle dependencies for Spark sur Kubernetes , each suited for different use cases ranging from rapid prototyping to stable production environments.

Comparison of Dependency Management Methods​

1. Dedicated Docker Image (Production Best Practice)​

Cette méthode implique la création d’une image Docker personnalisée qui inclut toutes les dépendances requises. Il garantit la cohérence entre les environnements et constitue la meilleure approche pour les charges de travail de production.

Étapes de création d’une image Spark personnalisée ​

1. Commencez par l’image de base officielle d’Ilum Spark.
2. Ajoutez les JAR nécessaires pour les dépendances basées sur Java.
3. Installez les packages Python requis.
4. Créez et transmettez l’image dans un registre privé ou public.
5. Configurez Ilum pour utiliser cette nouvelle image.

Exemple : Ajout de la prise en charge d’Apache Iceberg ​

Vous trouverez ci-dessous un exemple de fichier Dockerfile qui s’appuie sur l’image de base d’Ilum Spark et ajoute la prise en charge d’Apache Iceberg :

DE  ilum/spark:3.5.7

UTILISATEUR  root

# Ajouter des JAR pour le support d’Iceberg 
AJOUTER  --chmod= 644 https://repo1.maven.org/maven2/org/apache/iceberg/iceberg-spark-runtime-3.5_2.12/1.8.0/iceberg-spark-runtime-3.5_2.12-1.8.0.jar $SPARK_HOME/jars

# Installer les dépendances Python 
RUN python3 -m pip install pandas pyiceberg[hive,s3fs,pandas,snappy,gcsfs,adlfs]

UTILISATEUR  ${spark_uid}

Construire et pousser l’image ​

Après avoir écrit le fichier Dockerfile (par exemple, enregistré en tant que Fichier Dockerfile dans le répertoire courant), construisez et poussez l’image :

docker build -t myPrivateRepo/spark:3.5.7-iceberg .
docker push myPrivateRepo/spark:3.5.7-iceberg

Configuration d’ilum pour l’utilisation de l’image personnalisée ​

Une fois l’image disponible dans un registre de conteneurs, mettez à jour Ilum pour utiliser cette image Spark personnalisée :

spark.kubernetes.container.image : myPrivateRepo/étincelle : 3.5.7- iceberg 

--set ilum-core.kubernetes.defaultCluster.config.spark\\.kubernetes\\.container\\.image="myPrivateRepo/spark:3.5.7-iceberg"

curl -X POST "http://ilum-core/api/v1/job/submit" \
  -F "name=my-custom-job" \
  -F "image=registry.example.com/my-team/spark-custom:v1" \
... 

Bonnes pratiques ​

• Veillez à ce que toutes les versions de dépendances soient alignées sur la version de Spark utilisée.
• Mettez régulièrement à jour l’image personnalisée pour inclure les correctifs de sécurité et les dernières versions de dépendance.
• Stockez les images dans un registre de conteneurs fiable et accessible.
• Utilisez un schéma de gestion des versions pour vos images (par exemple, incluez les versions Spark et Feature dans la balise).

Dépannage ​

2. Runtime Injection (Spark Packages & PyPI)​

For rapid development and testing, you can add dependencies dynamically using Spark’s configuration. This approach fetches JARs and installs Python packages at startup time.

Ajout de JAR Java ​

Spécifiez les coordonnées Maven pour les dépendances Java à l’aide de la commande spark.jars.packages configuration.

  --set ilum-core.kubernetes.defaultCluster.config.spark\\.jars\\.packages="org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.8.0,org.apache.hadoop:hadoop-aws:3.3.4"

  spark.jars.packages : org.apache.iceberg : iceberg - étincelle - Duree - 3.5_2.12 : 1.8.0 , org.apache.hadoop: hadoop- aws: 3.3.4

Spark téléchargera automatiquement le package spécifié (et ses dépendances) à partir de Maven Central ou du référentiel configuré au démarrage de la tâche.

Installation des dépendances Python dans Ilum ​

Ilum propose plusieurs façons d’installer des dépendances Python pour les travaux Spark et les sessions Jupyter. En fonction de votre cas d’utilisation, vous pouvez choisir entre :

  --set ilum-jupyter.sparkmagic.config.sessionConfigs.conf='{"pyRequirements":"pandas;numpy;openai"}'

données : 
  config.json :  | 
... 
{ 
« session_configs » : { 
        "conf": { "pyRequirements": "pandas;numpy;openai", ... }
} 
} 

Chaque approche garantit que vos travaux Spark et vos sessions Jupyter ont les dépendances nécessaires installées, ce qui vous permet de Concentrez-vous sur l’ingénierie et l’analyse des données plutôt que sur la gestion des environnements.

Bonnes pratiques ​

• Utilisez cette méthode pour Tests ou preuve de concept Emplois; Évitez-le pour la production en raison de la surcharge des dépendances de téléchargement à chaque exécution.
• Specify exact versions for packages to ensure reproducibility.
• Combinez cette approche avec des images Docker personnalisées pour une meilleure cohérence (par exemple, utilisez Docker pour les dépendances principales et spark.jars.packages pour quelques transitoires si nécessaire).
• Soyez attentif à l’accès au réseau et aux performances, car le téléchargement de packages peut ralentir les temps de démarrage.

Dépannage ​

3. Installation de bibliothèques dans Jupyter Notebooks avec pip install ​

Pour des expériences interactives rapides, vous pouvez installer des bibliothèques dans un bloc-notes Jupyter à l’aide de pip. Il s’agit d’un moyen rapide de tester quelque chose de manière ad hoc, mais il n’est pas recommandé pour autre chose qu’une exploration temporaire.

Exemple ​

Si vous exécutez une session Spark dans un notebook Ilum Jupyter et que vous avez besoin d’un nouveau package Python, vous pouvez l’installer comme suit :

% % étincelle 

importation Sous-processus 

# Install package
résultat = Sous-processus . check_output ( [ « Pip » ,  « installer » ,  « Géopandas » ] ) 
imprimer ( résultat . décoder ( ) ) 

# Verify installation
résultat = Sous-processus . check_output ( [ « Pip » ,  « liste » ] ) 
imprimer ( résultat . décoder ( ) ) 

This will install the package in the notebook’s environment so you can use it immediately.

Why It’s Not Recommended​

• Les packages installés de cette manière ne sont disponibles que dans la session Spark en cours.
• L’environnement ne persiste pas entre les redémarrages de session ou les nouvelles sessions.
• Cela peut entraîner des incohérences entre votre environnement de développement et le runtime Spark de production.

Bonnes pratiques ​

• Utilisez cette approche uniquement pour un prototypage rapide et jetable.
• Si vous vous fiez à une bibliothèque installée par pip, ajoutez-la à un fichier d’exigences ou à une image Docker pour la permanence.
• Documentez tous les packages que vous avez dû installer dans le bloc-notes afin de pouvoir mettre à jour votre environnement correctement ultérieurement.

Dépannage ​

Frequently Asked Questions (FAQ)​

Recommandations finales ​

• Charges de travail de production : Utilisez un image Docker personnalisée avec toutes les dépendances préinstallées. Cela permet d’obtenir un environnement stable et reproductible avec des temps de démarrage plus rapides.
• Essais ou prototypage : Utiliser spark.jars.packages et un pyrequirements.txt pour plus de flexibilité. Cela vous permet d’expérimenter rapidement sans créer une nouvelle image, bien que cela puisse entraîner des frais de démarrage.
• Expériences interactives : L’installation via les notebooks Jupyter est pratique pour les expériences de courte durée, mais passe toujours à une solution plus robuste (image Docker ou fichier d’exigences) pour tout ce qui doit être enregistré ou exécuté à nouveau.

En suivant ces pratiques, vous pouvez gérer efficacement les dépendances Spark dans Ilum tout en minimisant les problèmes de compatibilité et les erreurs d’exécution.