Architecture

Ilum est conçu pour apporter la puissance d’Apache Spark aux environnements Kubernetes, en tirant parti du meilleur des deux écosystèmes. À la base, il vise à simplifier le processus de déploiement, de gestion et de surveillance des tâches Spark, quel que soit le gestionnaire de cluster sous-jacent.

Architecture
Noyau d’Ilum

Noyau d’Ilum

L’idée des tâches Spark interactives est de donner à un utilisateur la possibilité d’exécuter des tâches Spark consécutives sans temps d’initialisation de l’application Spark long.

Kubernetes Cluster

Kubernetes Cluster

Ilum s’intègre à Kubernetes pour automatiser la gestion des clusters, ce qui facilite le déploiement dans les environnements cloud-native.

Apache Kafka

Apache Kafka

S’intègre de manière transparente aux clusters Kubernetes, où les tâches Spark sont exécutées.

Composants clés

Ilum est conçu pour apporter la puissance d’Apache Spark aux environnements Kubernetes, en tirant parti du meilleur des deux écosystèmes. À la base, il vise à simplifier le processus de déploiement, de gestion et de surveillance des tâches Spark, quel que soit le gestionnaire de cluster sous-jacent.

Composants clés
Commencer
Icône latérale

Ilum-core

La pièce centrale de l’architecture Ilum est l’ilum-core, qui est responsable de la création, de la gestion et de la surveillance des tâches Spark. Il expose les API REST (conformes à la norme OpenAPI 3.0) avec lesquelles les clients peuvent interagir, et est responsable de la planification et de l’exécution des tâches Spark sur les clusters Kubernetes connectés.

Ilum-core
Icône latérale

Ilum-ui

Il s’agit d’une interface Web conviviale qui permet aux utilisateurs de gérer et de surveiller les tâches Spark. Il communique avec l’ilum-core via les API REST.

Ilum-ui
Icône latérale

Kubernetes Cluster

Pour les utilisateurs disposant de systèmes hérités, Ilum prend également entièrement en charge Apache Hadoop Yarn, offrant une flexibilité dans les infrastructures modernes et traditionnelles.

Kubernetes Cluster
Icône latérale

Stockage d’objets

Ilum s’intègre à diverses solutions de stockage d’objets, offrant ainsi une alternative au HDFS de Hadoop. Cela permet de stocker et d’extraire de grands volumes de données de manière distribuée et évolutive.

Stockage d’objets
Icône latérale

MongoDB

Ilum utilise MongoDB comme base de données interne pour stocker les métadonnées des tâches, les informations de cluster et d’autres données opérationnelles.

MongoDB
Icône latérale

Apache Kafka

Kafka peut être utilisé comme couche de communication dans Ilum pour un streaming et un traitement de données fiables et efficaces

Apache Kafka
Fin

Vous avez des idées pour améliorer Ilum ?

Nous apprécions vos commentaires et sommes toujours désireux de nous améliorer. Si vous avez des suggestions qui pourraient améliorer votre expérience ou faciliter la navigation dans le produit, n’hésitez pas à nous le faire savoir. Rejoignez-nous pour façonner l’avenir de notre plateforme ! Votre contribution compte.

Ajouter une demande de fonctionnalité