Noyau d’Ilum
L’idée des tâches Spark interactives est de donner à un utilisateur la possibilité d’exécuter des tâches Spark consécutives sans temps d’initialisation de l’application Spark long.
Ilum est conçu pour apporter la puissance d’Apache Spark aux environnements Kubernetes, en tirant parti du meilleur des deux écosystèmes. À la base, il vise à simplifier le processus de déploiement, de gestion et de surveillance des tâches Spark, quel que soit le gestionnaire de cluster sous-jacent.
L’idée des tâches Spark interactives est de donner à un utilisateur la possibilité d’exécuter des tâches Spark consécutives sans temps d’initialisation de l’application Spark long.
Ilum s’intègre à Kubernetes pour automatiser la gestion des clusters, ce qui facilite le déploiement dans les environnements cloud-native.
S’intègre de manière transparente aux clusters Kubernetes, où les tâches Spark sont exécutées.
Ilum est conçu pour apporter la puissance d’Apache Spark aux environnements Kubernetes, en tirant parti du meilleur des deux écosystèmes. À la base, il vise à simplifier le processus de déploiement, de gestion et de surveillance des tâches Spark, quel que soit le gestionnaire de cluster sous-jacent.


La pièce centrale de l’architecture Ilum est l’ilum-core, qui est responsable de la création, de la gestion et de la surveillance des tâches Spark. Il expose les API REST (conformes à la norme OpenAPI 3.0) avec lesquelles les clients peuvent interagir, et est responsable de la planification et de l’exécution des tâches Spark sur les clusters Kubernetes connectés.

Il s’agit d’une interface Web conviviale qui permet aux utilisateurs de gérer et de surveiller les tâches Spark. Il communique avec l’ilum-core via les API REST.

Pour les utilisateurs disposant de systèmes hérités, Ilum prend également entièrement en charge Apache Hadoop Yarn, offrant une flexibilité dans les infrastructures modernes et traditionnelles.

Ilum s’intègre à diverses solutions de stockage d’objets, offrant ainsi une alternative au HDFS de Hadoop. Cela permet de stocker et d’extraire de grands volumes de données de manière distribuée et évolutive.

Ilum utilise MongoDB comme base de données interne pour stocker les métadonnées des tâches, les informations de cluster et d’autres données opérationnelles.

Kafka peut être utilisé comme couche de communication dans Ilum pour un streaming et un traitement de données fiables et efficaces


Nous apprécions vos commentaires et sommes toujours désireux de nous améliorer. Si vous avez des suggestions qui pourraient améliorer votre expérience ou faciliter la navigation dans le produit, n’hésitez pas à nous le faire savoir. Rejoignez-nous pour façonner l’avenir de notre plateforme ! Votre contribution compte.
Ajouter une demande de fonctionnalité