Notes de mise à niveau

Notes de mise à niveau ​

PROCHAINE DIFFUSION ​

Object Storage Default Change​

The bundled S3-compatible object storage default is now RustFS. MinIO is still supported and can be re-enabled with one Helm flag. A pre-upgrade hook refuses Mise à niveau Helm when an existing MinIO PVC would be orphaned without explicit acknowledgement.

For step-by-step instructions, refer to Migrate Between Object Storage Providers. For the broader storage decision and provider reference pages, refer to the Object Storage section.

Object Storage Credentials Consolidation​

All object-storage consumers now read S3 credentials from a single shared Secret, ilum-objectstorage-credentials, instead of per-consumer literal values in valeurs.yaml . The Secret holds six aliased keys: access-key, secret-key, root-user, root-password, RUSTFS_ACCESS_KEY, RUSTFS_SECRET_KEY. Consumers wired to this Secret include ilum-core , ilum-jupyter, ilum-history-server, ilum-hive-metastore, airflow, kestra, Trino , langfuse, loki, minio et rustfs.

Default credentials for net-new installs are Admin / Admin . On upgrade, the credentials-secret template's lookup preserves the live Secret values, so existing deployments keep their current credentials.

Per-consumer accessKey/ secretKey literals in Helm values are now ignored when an existingSecret reference is set, which is the default in helm_aio. Rotation is performed by editing the shared Secret and restarting the affected Pods. For the full procedure, refer to Rotate Object Storage Credentials.

MODÈLE DE NOTE ​

1. Changement ​

Caractéristique: ​

Description de la fonctionnalité

Valeurs supprimées - nom du graphique ​

Valeurs ajoutées - nom de la carte ​

Description de la section Valeurs ​

Noms modifiés - nom de la carte ​

⚠️⚠️⚠️ Warnings​

Valeurs modifiées - nom de la carte ​

RELEASE 6.7.0​

1. Airflow version update​

Caractéristique: ​

Updated Airflow from version 3.1.1 to 3.1.6.

Values changed - helm_aio​

2. Added ClickHouse and Langfuse to ilum-aio​

Caractéristique: ​

Added ClickHouse and Langfuse to ilum-aio as new modules. ClickHouse is a fast open-source OLAP database management system. Langfuse is an open source LLM engineering platform.

Valeurs ajoutées - ilum-aio ​

Valeurs ajoutées - ilum-ui ​

3. Configurable Scala version for default cluster​

Caractéristique: ​

Supplémentaire scalaVersion configuration option to the default cluster settings. This allows users to specify which Scala version their Spark jobs are run with, supporting both Scala 2.12 for spark 3.x and 2.13 for spark 4.x

Values added - helm_core​

4. API token authentication system​

Caractéristique: ​

Added "API token authentication system for internal and external service authentication."

Values added - helm_core​

Valeurs ajoutées - ilum-aio ​

5. Startup probe for Ilum-core​

Caractéristique: ​

Added startup probe to the Ilum-core deployment. This allows the application to have sufficient time to start in constrained environments while maintaining quick readiness and liveness checks once started. The startup probe delays readiness and liveness probes until the application starts successfully.

Values added - helm_core​

Values changed - helm_core​

6. Disabled SASL in Kafka configuration​

Caractéristique: ​

Disabled SASL authentication in the default Kafka configuration. This change simplifies the setup for users who do not require SASL authentication for their Kafka clusters. Users who need SASL can still enable it through custom configuration.

Values added - helm_aio​

RELEASE 6.6.2​

1. Spark 4.x Upgrade - Scala 2.13 Migration​

Caractéristique: ​

Updated default Spark images to ilum/spark:4.0.1-delta and ilum-spark-launcher to spark-4.1.0. Spark 4.x exclusively uses Scala 2.13 and has dropped support for Scala 2.12.

Values changed - helm_core​

⚠️⚠️⚠️ CRITICAL WARNING - BREAKING CHANGE ⚠️⚠️⚠️​

Spark 4.x uses Scala 2.13 exclusively. Scala 2.12 is NO LONGER SUPPORTED.

This is a BREAKING CHANGE that may affect your existing Spark jobs:

1. JAR Compatibility: Any Spark applications, libraries, or dependencies compiled with Scala 2.12 WILL NOT WORK with Spark 4.x. You must recompile all custom JARs with Scala 2.13.

2. Affected Components:

   • Custom Spark applications (Scala-based)
   • Third-party libraries compiled for Scala 2.12
   • UDFs written in Scala
   • Quelconque .jar files built with scalaVersion := "2.12.x"

3. How to Identify Affected JARs:

   • Check your build.sbt ou pom.xmlpour scalaVersion settings
   • JAR names often contain the Scala version suffix (e.g., myapp_2.12-1.0.jar)
   • JARs with _2.12 suffix need to be rebuilt with _2.13

4. Required Actions Before Upgrade:

   • Inventory all custom Spark JARs in use
   • Recompile all Scala-based applications with Scala 2.13
   • Update all third-party dependencies to Scala 2.13 versions
   • Test all jobs thoroughly in a staging environment

5. No Backwards Compatibility:

   • Starting from this version, Ilum's Spark job wrapper uses Scala 2.13 exclusively
   • Running Spark 3.x jobs compiled with Scala 2.12 is no longer supported
   • Vous MUST recompile all your Scala-based Spark jobs with Scala 2.13 before upgrading

6. PySpark Users: PySpark jobs are generally unaffected unless they use Scala-based UDFs or custom Scala libraries.

RECOMMENDATION: Test your workloads in a non-production environment before upgrading to this release.

2. Added environment variables support to default cluster configuration​

Caractéristique: ​

Added support for configuring environment variables in the default cluster configuration. This allows users to set environment variables that will be applied to Spark jobs running on the default cluster. The SPARK_SUBMIT_OPTS environment variable is now configurable through Helm values instead of being hardcoded, providing better flexibility for JVM tuning and other environment-specific configurations.

Values added - helm_core​

Default cluster environment variables configuration​

3. Added Unity Catalog integration​

Caractéristique: ​

Supplémentaire helm_unity_catalog chart to provide Unity Catalog support as an optional catalog backend (similar to Hive Metastore and Nessie). Unity Catalog is disabled by default and can be enabled to provide unified governance for data and AI assets. The chart is integrated with the existing PostgreSQL database and MinIO S3 storage, with automatic JWT keypair generation for authentication.

Values added - helm_unity_catalog​

Values added - helm_core​

Unity Catalog metastore configuration​

Values added - postgresExtensions​

⚠️⚠️⚠️ Warnings​

• Unity Catalog requires PostgreSQL and S3-compatible storage to be enabled
• JWT keypairs are auto-generated on first deployment and stored in Kubernetes secrets
• When using Unity Catalog, set ilum-core.metastore.type: unity to configure Spark integration

4. Added DuckDb and DuckLake to Ilum Core​

Caractéristique: ​

Added DuckDb as an SQL executor and DuckLake as a metastore option in Ilum Core. DuckDb is a fast and lightweight SQL engine that supports a wide range of data types and SQL features. DuckLake is a distributed metastore for DuckDb, which provides options for multi-user access and data versioning.

Values added - ilum_core​

RELEASE 6.6.1​

1. Ugraded JupyterHub experience​

Caractéristique: ​

Ugraded helm_jupyterhub to bundle Ilum-specific SSH/Git/LDAP bootstrap logic, curated notebooks, and tailored singleuser defaults so helm_aio merely enables the dependency, pins fullnameRemplacer , and surfaces only the still-relevant overrides. This also keeps the SSH network policy open for port 2222 and ensures the shared ilum-jupyter-ssh-keys secret remains stable, while c.JupyterHub.cleanup_servers = True guarantees the SSH service and user pods stop with the release.

Values added - helm_aio​

Values added - helm_jupyterhub​

SSH configuration​

Git configuration​

LDAP configuration​

Hub configuration​

Singleuser runtime defaults​

Image pull credentials​

Values changed - helm_jupyterhub​

Instructions​

• Keep ilum-jupyter-ssh-keys stable outside Helm so the SSH host fingerprint survives upgrades; rotating the secret requires removing stale entries from user known_hosts.
• Ensure ilum-git-credentials contains valid credentials for a Gitea account with org-level write access—both the SSH operator and Git init job rely on the rendered token.
• To refresh the curated notebooks, update helm_jupyterhub/files/examples (and their config map templates) so the init container can push them into the ilum-jupyterhub repo again.

⚠️⚠️⚠️ Warnings​

• Port 2222 is opened via the SSH operator’s shared service; if you switch to per-user authorized keys, keep the service numbering and secrets aligned.

• Cleanup is forced (c.JupyterHub.cleanup_servers = True), so user pods and the SSH service terminate with the Helm release. Manage any long-lived workloads outside this chart.

2. Upgraded Livy compatible API to version 0.8.0​

Caractéristique: ​

Upgraded Livy compatible API to version 0.8.0 with enhanced configuration options for compression, server version control, and TTL-based session cleanup.

Valeurs ajoutées - ilum-core ​

Livy Compression Configuration​

Livy Server Configuration​

Livy TTL Session Cleanup Configuration​

Valeurs ajoutées - ilum-aio ​

Same values as ilum-core but under the ilum-core. prefix (e.g., ilum-core.livy.compression.enabled).

⚠️⚠️⚠️ Important Notes​

For most users: ✅ No action required. All new configuration options have safe defaults and are backward compatible.

Optional Performance Optimization: If you handle large Livy responses, you may enable compression by setting livy.compression.enabled: true.

Session Management: The new TTL cleanup uses a hybrid approach (lazy + background sweep) to automatically clean up expired sessions. Default settings should work for most deployments.

3. Updated default Spark version and added autopause configuration​

Caractéristique: ​

Updated default Spark version to 3.5.7-deltadans kubernetes.defaultCluster.config . Added spark.ilum.autopause: "true"À kubernetes.defaultCluster.config to set the default behavior of the autopause feature.

Valeurs modifiées - ilum-core ​

Valeurs ajoutées - ilum-core ​

1. HTTP cookie-based access control now disabled by default​

Caractéristique: ​

Fixed stability issues and changed HTTP cookie-based access control to be disabled by default for all external services (Jupyter, Airflow, MLflow, Grafana, etc.).

What Changed?​

• External services are now open by default - no cookie requirements
• All users can access services without any special configuration
• System works out-of-the-box

What This Means for You​

• ✅ Your services will become more accessible
• ✅ Users can access Jupyter, Airflow, MLflow, etc. without cookie setup
• ✅ No action required for most deployments

If you need to restrict access:

• Use the built-in OAuth2/Hydra authentication (recommended for production)
• Or manually enable cookie-based access control per service (see below)

When to Use Cookie-Based Access Control?​

This is an advanced feature for specific use cases:

• ✅ Temporary access restrictions for specific users/sessions
• ✅ Custom access control integrated with your frontend application

To enable for a specific service:

nginx: 
  Configuration : 
    http_cookie: 
      Activé :  vrai 
      ilum-jupyter: 
        Activé :  vrai 

Values changed - ilum-ui​

Values changed - ilum-aio​

⚠️⚠️⚠️ Important Notes​

For most users: ✅ No action required. This change makes services more accessible.

If you customized cookie settings in 6.6.0: You may need to review your configuration. The system now defaults to open access instead of requiring cookies.

RELEASE 6.6.0​

1. Upgraded Apache Airflow to 3.1.1​

Caractéristique: ​

Upgraded Apache Airflow from 3.0.5 to 3.1.1 with improved OIDC authentication support using authlib OAuth providers (AUTH_OAUTH) instead of deprecated flask-oidc (AUTH_OIDC). This upgrade includes fixes for OAuth redirect URI patterns and proper volume mounting for OIDC client secrets in init containers.

Values changed - ilum-aio​

Valeurs ajoutées - ilum-aio ​

Init Container Volume Mount Configuration​

-  nom :  create- Admin - utilisateur 
  image :  ilum/airflow: 3.1.1
  command:  [ "/bin/bash",  "/scripts/init.sh"] 
  volumeMontures : 
    -  nom : ilum - airflow- create- utilisateur - secret 
      mountPath :  /scripts
    -  nom : Configuration 
      mountPath :  /opt/airflow/airflow.cfg
      subPath :  airflow.cfg
    -  nom : OAuth - secret - volume
      mountPath :  /opt/airflow/client- secret 
      readOnly:  vrai 
    -  nom :  webserver- Configuration - volume
      mountPath :  /opt/airflow/webserver_config.py
      subPath :  webserver_config.py
      readOnly:  vrai 

⚠️⚠️⚠️ Warnings​

Configuration value airflow.apiServer.apiServerConfigConfigMapName is preconfigured to use a ConfigMap named ilum-api-server-config. But the name of this configMap must follow pattern <release-name>-api-server-config to be properly mounted as it is Airflow's chart requirement. So if your release name is different from ilum , please change this value accordingly. For example use:

airflow: 
  apiServer: 
    apiServerConfigConfigMapName: <votre - release- nom > - API - serveur - Configuration 
    extraVolumes: 
      -  nom : OAuth - secret - volume
        secret : 
          secretName : ilum - hydre - client - secret 
      -  nom : ilum - airflow- create- utilisateur - secret 
        secret : 
          secretName : ilum - airflow- create- utilisateur - secret 
      -  nom :  webserver- Configuration - volume
        configMap : 
          nom : <votre - release- nom > - API - serveur - Configuration 

2. Enhanced Jupyter startup configuration​

Caractéristique: ​

Added configurable startup arguments for Jupyter notebook server, allowing users to customize base URL, IOPub data rate limits, and pass additional command-line arguments. Also added support for extra environment variables with templating support.

Valeurs ajoutées - ilum-jupyter ​

Startup and environment configuration​

⚠️⚠️⚠️ Warnings​

• All startup arguments configured via startupArgs.* can be completely overridden by setting the args parameter in values.yaml. When args is set, all default startup arguments are ignored, giving you full control over the Jupyter server startup command.
• Le extraEnv parameter accepts a string template (multiline YAML using | ). Example usage:

  extraEnv:  | 
    - name: MY_VAR
      value: value
  

3. Added Apache NiFi module​

Caractéristique: ​

Added Apache NiFi to ilum-aio as a new module. This will allow users to easily deploy NiFi and use it next to Ilum.

Valeurs ajoutées - ilum-aio ​

Valeurs ajoutées - ilum-ui ​

4. Added integration with Project Nessie metastore​

Caractéristique: ​

Added integration with Project Nessie metastore in Ilum, which allows the use of Nessie as a metastore for Spark jobs.

Valeurs ajoutées - ilum-core ​

Valeurs ajoutées - ilum-aio ​

Changements de noms - ilum-core ​

Valeurs modifiées - ilum-core ​

⚠️⚠️⚠️ Warnings​

This is an important change that will need to be addressed if any custom changes to the default configuration were made. Please carefully review the changes and make sure they will not break your deployment.

5. Livy API now fully served by ilum-core (embedded)​

Caractéristique: ​

Livy API is implemented and served directly by ilum-core (embedded). The legacy Livy proxy is deprecated but can still be turned on for backward compatibility.

Valeurs ajoutées - ilum-aio ​

⚠️⚠️⚠️ Warnings​

• Le compat Service( ilum-livy-proxy → ilum-core) is deprecated and will be removed in a future release.
• Le legacy proxy is also deprecated and will be removed after the transition period.
• Mode matrix (AIO):
  • ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=false → nothing created; call ilum-core directly.
  • ilum-livy-proxy.enabled=true & ilum-livy-proxy.legacy.enabled=false → create compat Service pointing to the new ilum-core Livy API.
  • ilum-livy-proxy.enabled=false & ilum-livy-proxy.legacy.enabled=true → deploy legacy proxy.
• When legacy is enabled, update client endpoints to use the legacy Service:
  • ilum-jupyter.livyEndpoint = http://ilum-livy-proxy:8998
  • ilum-zeppelin.livyEndpoint = http://ilum-livy-proxy:8998
  • Airflow connection: AIRFLOW_CONN_ILUM-LIVY-PROXY=livy://ilum-livy-proxy:8998
• Some resources (e.g., ConfigMap/Ingress) are rendered based on ilum-livy-proxy.legacy.enabled only (not on ilum-livy-proxy.enabled ).

6. Added cronjob cleaning after uninstalling​

Caractéristique: ​

A pre-delete hook will now clean up kubernetes cronjobs after uninstalling the chart.

Valeurs ajoutées - ilum-core ​

RELEASE 6.5.2​

1. SSH mode implementation for helm_jupyter​

Caractéristique: ​

SSH mode in the helm_jupyter chart has been implemented to provide SSH access directly within the main Jupyter container. This allows users to access their Jupyter environment via SSH while maintaining workspace consistency between web and SSH interfaces.

Values added - helm_jupyter​

SSH access configuration​

⚠️⚠️⚠️ Warnings​

• SSH server runs directly in the main Jupyter container on port 2222 internally
• SSH keys must be provided via a Kubernetes Secret referenced by ssh.keysSecret parameter
• The secret should contain both SSH host keys and authorized_keys for authentication
• SSH access provides direct access to the /home/jovyan/work directory (same as web interface)
• Custom SSH server configuration can be provided via ssh.sshdConfig.customConfig array

2. Address Bitnami’s move to bitnamilegacy+ bitnamisecure​

Caractéristique: ​

Bitnami has moved to bitnamilegacy+ bitnamisecure for their images after the 18th of August 2025. This change moves used images to the new repositories.

Valeurs ajoutées - ilum-aio ​

Values changed - ilum-aio​

Valeurs modifiées - ilum-core ​

Values changed - ilum-hive-metastore​

Values changed - ilum-jupyter​

Values changed - ilum-marquez​

1. Updated Airflow defaults in ilum-aio​

Caractéristique: ​

Bumped Airflow to 3.0.5 and streamlined default connection/env configuration. Removed legacy cleanup and scheduler overrides in favor of chart defaults and connection-based setup.

Valeurs ajoutées - ilum-aio ​

Values changed - ilum-aio​

Values deleted - ilum-aio​

⚠️⚠️⚠️ Warnings​

As the default Airflow’s fernet key creation mechanism made it impossible to enable Airflow via values upgrade, the mechanism will get disabled by default. To use it once again, manually create a Kubernetes secret and set required values in the airflow chart.

3. Added configurable HTTP cookie mappings in ilum-ui​

Caractéristique: ​

Added configurable HTTP cookie mappings in the ilum-ui nginx configuration. This allows users to enable or disable cookie-based access control for individual services or turn off the entire cookie mapping section. Each service can be controlled individually while maintaining backward compatibility with all options enabled by default.

Valeurs ajoutées - ilum-ui ​

HTTP cookie mapping configuration​

4. PostgreSQL Max Connections Configuration​

Caractéristique: ​

Added PostgreSQL max_connections configuration to address database connection limits in high-load scenarios.

Valeurs ajoutées - ilum-aio ​

PostgreSQL configuration​

RELEASE 6.4.3​

1. Added Mage to ilum-aio​

Caractéristique: ​

Added Mage OSS to ilum-aio as a new module. This will allow users to easily deploy Mage and use it next to Ilum.

Valeurs ajoutées - ilum-aio ​

2. Updated Airflow’s chart and values to support Airflow 3.0​

Caractéristique: ​

Updated Airflow’s chart and values to support Airflow 3.0, which includes changes in the configuration and deployment of Airflow.

Valeurs ajoutées - ilum-aio ​

Values changed - ilum-aio​

Values deleted - ilum-aio​

Values changed - ilum-ui​

⚠️⚠️⚠️ Warnings​

Ilum’s changes, Airflow 3.0 and the new Airflow chart version bring significant changes to the Airflow configuration and deployment. Please review the new values and adjust your configuration accordingly.

If you are a user of Ilum’s OAuth2 provider, this update may require you to manually update some configuration, as Helm is likely to not be able to automatically migrate the values.

3. Added securityContext configuration for ilum charts​

Caractéristique: ​

Added comprehensive securityContext configuration for enhanced security across all ilum Helm charts. This includes both pod-level and container-level security contexts with non-root user execution, capability dropping, and seccomp profiles.

Valeurs ajoutées - ilum-core ​

Valeurs ajoutées - ilum-ui ​

Valeurs ajoutées - ilum-jupyter ​

Valeurs ajoutées - ilum-livy-proxy ​

Valeurs ajoutées - ilum-aio ​

Added securityContext configuration for postgresExtensions​

RELEASE 6.4.2​

1. changed openldap chart provider to jp-gouin's​

Caractéristique: ​

Changed openldap chart provider to jp-gouin's, which is more actively maintained and has better support for features like TLS. Because of that, the default configuration of openldap was changed to reflect the new provider's defaults.

Valeurs modifiées - ilum-core ​

Valeurs ajoutées - ilum-aio ​

Added new values for openldap configuration​

Values changed - ilum-aio​

Values deleted - ilum-aio​

RELEASE 6.4.1​

1. Adapt hydra to https​

Valeurs ajoutées - ilum-aio ​

Values deleted - ilum-aio​

Valeurs ajoutées - ilum-core ​

2. Added openldap to helm chart and ilum-to-ldap synchronization​

Valeurs ajoutées - ilum-aio ​

Added openldap configuration values​

Valeurs ajoutées - ilum-core ​

Added configurations for synchronization of ldap with ilum​

Valeurs modifiées - ilum-core ​

3. Restricted RBAC Mode for ilum-core service​

Caractéristique: ​

Introduced a new rbac.restricted.enabled flag in the ilum-core chart. When set to vrai , this option applies a more restrictive set of RBAC permissions for the service account. This enhances security by adhering to the principle of least privilege and is recommended for production or security-sensitive environments.

Valeurs ajoutées - ilum-core ​

Added a flag to enable a more restrictive RBAC configuration.​

4. Added Activé flag to Trino in ilum-sql​

Caractéristique: ​

Supplémentaire Activé flag to Trino in ilum-sql, which allows users to disable Trino if they do not need it. This also will help ilum-ui with the configuration of Trino.

Values added - ilum-sql​

⚠️⚠️⚠️ Warnings​

Trino was enabled by default, so if you wish to enable it after the version upgrade, you need to set ilum-sql.config.trino.enabledÀ vrai dans vos valeurs de casque.

RELEASE 6.4.0​

1. Addition of OAuth Provider and its integration with Services​

Caractéristique: ​

Added Hydra deployment to helm chart and fields to configure it

Valeurs ajoutées - ilum-core ​

Valeurs ajoutées - ilum-ui ​

Caractéristique ​

Added helm values to specify how roles and groups from ilum-core are going to be mapped to microservices of ilum

Valeurs ajoutées - ilum-core ​

Caractéristique ​

Integrated minio with Hydra OIDC in values.yaml by adding new environment variables with oidc client data taken from global.security.hydra

Values added - minio​

| minio.extraEnvVars | | |

Caractéristique ​

Integrated airflow with Hydra OIDC in values.yaml

Values added - airflow​

Caractéristique ​

Integrated grafana with Hydra OIDC in values.yaml

Values added - grafana​

Caractéristique ​

Integrated superset with Hydra OIDC in values.yaml

Values added - superset​

2. Addition of examples for ilum-core and superset​

Caractéristique: ​

Added examples for Ilum modules. New Ilum users can use these examples to quickly understand how to use Ilum modules like ilum-sql, superset and others.

Valeurs ajoutées - ilum-core ​

Valeurs ajoutées - ilum-aio ​

3. Internal users upgrade credentials flag​

Valeurs ajoutées - ilum-core ​

4. Tighter integration of Marquez with Ilum​

Caractéristique: ​

Enhanced Marquez integration with ilum-core, which means no direct communication between ilum-frontend and Marquez is needed anymore. This way, having a customized Marquez build is not necessary anymore.

Valeurs modifiées - ilum-core ​

5. Changed superset load example variable name​

Values deleted - ilum-aio​

Valeurs ajoutées - ilum-aio ​

RELEASE 6.3.2​

1. Addition of frequently used values to ilum-sql​

Caractéristique: ​

Added frequently used values to ilum-sql chart, so that their configuration is easier.

Values added - ilum-sql​

Values changed - ilum-aio​

⚠️⚠️⚠️ Warnings​

Because these values were already present in the ilum-aio chart, the change will not be noticeable for users who have changed the value of ilum-sql.config.kyuubi.defaults.

2. Support of Trino in ilum-sql​

Caractéristique: ​

Introduced support for Trino as an SQL engine in ilum-sql chart.

Valeurs ajoutées - ilum-aio ​

Values added - ilum-sql​

3. Enhanced Oauth2​

Caractéristique ​

Added users, groups and roles mapping during authentication from OAuth2 Autherization server to Ilum Core. Added ability to assign Admin role to oauth2 users.

Valeurs ajoutées - ilum-core ​

4. Addition of kubernetes s3 region to ilum-core and ilum-aio​

Caractéristique: ​

Added the ability to set the S3 region in ilum-core.

Valeurs ajoutées - ilum-core ​

Valeurs ajoutées - ilum-aio ​

5. Protocol in superset​

Caractéristique: ​

Added the ability to set the protocol in superset.

Values added - superset​

6. Addition of hive metastore status probe to ilum-core helm chart​

Caractéristique: ​

Added possibility to enable status probe for hive metastore.

Valeurs ajoutées - ilum-core ​

VERSION 6.3.1 ​

1. Ajout de compartiments supplémentaires à la configuration de stockage ​

Caractéristique ​

Ajout de la possibilité d’inclure des compartiments supplémentaires dans la configuration du stockage Spark du cluster ilum.

Valeurs ajoutées - ilum-core ​

2. LDAP amélioré ​

Added the ability to map users, groups, and roles — along with their properties and relationships — from an LDAP server to Ilum Core based on mapping configurations in Helm. Enabled the option to assign Admin role to LDAP users.

Valeurs ajoutées - ilum-core ​

Valeurs supprimées - ilum-core ​

Changements de noms - ilum-core ​

3. Configuration par défaut de SparkMagic ​

Valeurs modifiées : les paramètres de configuration d’ilum-jupyter changent en raison de l’introduction du formulaire de session Spark. ​

Valeurs supprimées - ilum-jupyter ​

Valeurs supprimées - ilum-jupyter ​

VERSION 6.3.0 ​

1. Modification de la version de la balise d’image de kyuubi ​

Valeurs modifiées - paramètres de configuration de sparkmagic ​

2. Ajout d’une propriété pour définir l’adresse kafka pour ilum-core ​

Caractéristique ​

Ajout de la possibilité de définir l’adresse kafka pour le pod ilum-core, séparément de la configuration globale de l’adresse kafka pour les tâches Spark et l’ensemble du pod ilum-core via la propriété kafka.address.

Valeurs ajoutées - ilum-core ​

3. Changement du temps de tolérance de vérification de l’état de la tâche ilum ​

Valeurs modifiées - paramètres de configuration de la vérification de l’état de la tâche ilum ​

4. Présentation du dépôt git intégré ​

Caractéristique ​

Ajout de Gitea en tant que module fournissant un serveur git intégré pour la plate-forme ilum.

Valeurs ajoutées - gitea ​

Valeurs ajoutées - ilum-jupyter ​

Valeurs ajoutées - ilum-airflow ​

5. Modifications de nommage de la configuration SQL d’Ilum ​

Changer le nommage de la configuration Ilum Sql pour mieux refléter l’utilisation actuelle de Kyuubi

Changements de noms - ilum-core ​

Noms modifiés - ilum-aio ​

⚠️⚠️⚠️ Warnings​

En raison des changements de nommage et du fonctionnement interne du lancement du moteur SQL, et des restrictions sur ce qui peut être fait via un Mise à niveau Helm , Il est nécessaire de supprimer manuellement l’ancien ensemble avec état (par ex. kubectl delete sts ilum-sql ) avant de passer à cette version. Cela garantira que lors de la mise à jour, un nouvel ensemble avec état est créé avec la configuration correcte. Les modifications cassantes sont liées aux étiquettes et aux montages de volume utilisés par l’ensemble avec état ilum-sql.

6. Ajouter des configurations pour Ilum Submit pour les moteurs Spark Sql ​

Ilum Submit améliore le processus de lancement des moteurs Spark SQL via l’application Web Ilum et le point de terminaison JDBC en appliquant automatiquement les configurations du cluster sélectionné. Cette amélioration élimine le besoin de fournir manuellement la configuration Spark de Kyuubi à Ilum Core.

Valeur supprimée - ilum-core ​

Valeurs ajoutées - ilum-kyuubi ​

Valeurs ajoutées - ilum-aio ​

⚠️⚠️⚠️ Warnings​

Comme la configuration Spark de Kyuubi n’est plus nécessaire dans Ilum Core, La configuration Spark par défaut doit être fournie directement à ilum-sql.config.spark.defaults au lieu de la valeur globale.

7. Déplacement des valeurs liées à la sécurité dans ilum-core de la carte de configuration au secret ​

Caractéristique ​

Security‑related configuration (including internal user credentials, LDAP, OAuth2, JWT, and authorities settings) has been moved from the config map to a dedicated Kubernetes Secret. This improves the security of sensitive data by isolating it from non‑sensitive configuration.

Valeurs ajoutées - ilum-core ​

8. Changement du type de service ilum-ui ​

En raison des problèmes avec kubectl port-forward, nous exposons un NodePort par défaut.

Valeurs modifiées - paramètres de configuration de la vérification de l’état de l’interface utilisateur ​

VERSION 6.2.1 ​

1. Changer la valeur de l’url de Kyuubi ​

Caractéristique ​

Changez la valeur de l’url de Kyuubi dans ilum-core. La valeur par défaut devrait maintenant fonctionner dès la sortie de la boîte.

Valeurs modifiées - ilum-core ​

VERSION 6.2.1-RC1 ​

1. Configuration des paramètres de mémoire de la tâche Spark dans ilum-core ​

Caractéristique ​

Ajout de la configuration des paramètres de mémoire de la tâche Spark dans ilum-core. Lors de la création d’un cluster par défaut dans ilum-core, les paramètres de paramètres de mémoire sont définis sur ces valeurs.

Valeurs ajoutées - ilum-core ​

2. Ajout des paramètres de rétention du serveur d’historique Spark ​

Caractéristique ​

Ajout des paramètres de rétention du serveur d’historique Spark à ilum-core. Ces paramètres permettent à l’utilisateur de configurer la conservation des journaux du serveur d’historique Spark.

Valeurs ajoutées - ilum-core ​

3. Divisez l’URL de Kyuubi en hôte et port ​

Caractéristique ​

Divisez l’url de Kyuubi en host et port dans ilum-core. Ce changement était nécessaire pour que nous puissions créer des moteurs personnalisés.

Valeurs ajoutées - ilum-core ​

Valeurs supprimées - ilum-core ​

4. Entrées supplémentaires dans helm_ui carte de configuration du serveur nginx ​

Caractéristique ​

Ajout de drapeaux activés pour le serveur d’historique, minio, ilum-jupyter, airflow, mlflow et lineage à ilum-ui. Ces drapeaux permettent à l’utilisateur d’activer ou de désactiver l’accès à ces services via ilum-ui. Ces valeurs seront utilisées dans la carte de configuration du serveur nginx.

Valeurs ajoutées - graphique ilum-ui ​

5. Superset dans le graphique ilum-aio ​

Caractéristique ​

Sur-ensemble dans le graphique AIO de l’ilum. Superset est rapide, léger, intuitif et doté d’options qui permettent aux utilisateurs de tous niveaux d’explorer et de visualiser facilement leurs données. Du simple graphique linéaire aux graphiques géospatiaux très détaillés. Superset est l’un des modules intégrés à la plate-forme Ilum.

Valeurs ajoutées - ilum-ui ​

Configuration de l’agrégation de journaux ​

4. Configuration par défaut du cluster kubernetes Ilum à partir des valeurs helm ​

Caractéristique ​

À partir de maintenant, les paramètres par défaut du cluster ilum seront définis en fonction des valeurs helm.

Valeurs ajoutées - graphique ilum-core ​

VERSION 6.2.0 ​

1. Modification de la version de la balise d’image de kyuubi ​

Valeurs modifiées - graphique ilum-kyuubi ​

2. Modification de la configuration de l’étincelle kyuubi dans le graphique ilum-kyuubi ​

Supplémentaire spark.driver.memory=2g dans global.kyuubi.sparkConfig

VERSION 6.2.0-RC2 ​

1. Ajout de la sonde d’état Minio ​

Caractéristique ​

Ajout d’une sonde d’état dans ilum-core qui vérifie si le stockage minio est prêt

Valeurs ajoutées - ilum-core ​

2. Configuration de Kyuubi dans ilum-core ​

Caractéristique ​

Ajout de la configuration Kyuubi dans le tableau de barre ilum-core. Kyuubi permettra à l’utilisateur d’exécuter des requêtes SQL sur de nombreuses sources de données différentes à l’aide de l’interface utilisateur ILUM.

Valeurs ajoutées - ilum-core ​

⚠️⚠️⚠️ Warnings​

Afin de gérer correctement les moteurs SQL, nous devons passer la configuration spark de Kyuubi à ilum-core. Cela se fait en configurant l’étincelle de Kyuubi dans global.kyuubi.sparkConfig et permet à l’utilisateur d’écrire une configuration qui peut être passée à la fois à Kyuubi et à ilum-core.

3. Configuration de l’uri MongoDb dans ilum-core ​

Caractéristique ​

Changement de la façon dont l’uri mongoDb est passé à ilum-core. Désormais, il est transmis sous la forme d’une seule chaîne, ce qui permet à l’utilisateur de fournir une configuration plus granulaire telle que authSource.

Valeurs ajoutées - ilum-core ​

Valeurs supprimées - ilum-core ​

⚠️⚠️⚠️ Warnings​

Le mongo.uri , s’il n’est pas correctement défini, l’application ne fonctionnera pas correctement. Assurez-vous de fournir la chaîne de connexion correcte.

Auparavant, le format était le suivant : mongodb://{ mongo.instances }/ilum-{ release_namespace } ?replicaSet={ mongo.replicaSetName } Par défaut, dans le graphique ilum-aio, ces valeurs étaient les suivantes :

• mongo.instances - ilum-mongodb-0.ilum-mongodb-headless :27017,ilum-mongodb-1.ilum-mongodb-headless :27017
• mongo.replicaSetName - RS0
• release_namespace - faire défaut

4. Configuration de la pause automatique dans ilum-core ​

Caractéristique ​

Ajout de la pause automatique dans ilum-core, qui vérifie périodiquement si des groupes sont inactifs pendant la durée spécifiée et met le groupe en pause. Pour que cela se produise, la mise en pause automatique doit être activée dans chaque groupe.

Valeurs ajoutées - ilum-core ​

5. Exportateur de graphite dans le graphique ilum-aio ​

Caractéristique ​

Exportateur de graphite dans le graphique AIO d’ilum et configuration de graphite dans le graphique ilum-core. L’exportateur Graphite est un exportateur Prometheus pour les métriques exportées dans le protocole Graphite en texte clair.

Valeurs ajoutées - graphite-exporter ​

Nouvellement ajouté, vérifiez ses valeurs sur le Page du graphique

6. Configuration graphite en ilum-core ​

Caractéristique ​

Ajout de la configuration Graphite dans le tableau de barre ilum-core. Graphite permettra aux tâches Spark d’envoyer leurs métriques à un puits de graphite, qui sera récupéré par Prometheus.

Valeurs ajoutées - ilum-core ​

VERSION 6.1.4 ​

1. Changement de configuration par défaut de Jupyter sparkmagic ​

Caractéristique ​

Modification de la méthode de transmission des configurations par défaut de spark au notebook jupyter, maintenant elle est passée sous forme de chaîne json

Valeurs ajoutées - ilum-jupyter ​

Paramètres de configuration SparkMagic ​

2. Kyuubi dans le graphique ilum-aio ​

Caractéristique ​

Kyuubi dans le graphique AIO de l’ilum. Kyuubi est une passerelle multi-locataire distribuée fournissant des services de requête SQL pour les entrepôts de données et les lakehouses. Il fournit à la fois des interfaces JDBC et ODBC, ainsi qu’une API REST avec laquelle les clients peuvent interagir.

Valeurs ajoutées - ilum-kyuubi ​

Nouvellement ajouté, vérifiez ses valeurs sur le Page du graphique

VERSION 6.1.3 ​

1. Configuration de Jupyter et stockage persistant ​

Caractéristique ​

Ajout d’une configuration étendue du graphique helm du notebook jupyter via des valeurs helm. De plus, il a ajouté un stockage persistant à la gousse jupyter. Toutes les données enregistrées dans travail Le répertoire sera désormais disponible après le redémarrage/la mise à jour de Jupyter.

Valeurs ajoutées - ilum-jupyter ​

Paramètres PVC ​

Paramètres de configuration SparkMagic ​

VERSION 6.1.2 ​

1. Metastore Hive dans le graphique ilum-aio ​

Caractéristique ​

Métastore Hive dans le graphique AIO ilum. HMS est un référentiel central de métadonnées pour les tables et partitions Hive dans une base de données relationnelle, et fournit aux clients (y compris Hive, Impala et Spark) l’accès à ces informations à l’aide de l’API du service metastore. Avec le metastore hive activé dans ilum AIO helm stack, les tâches Spark exécutées par ilum peuvent être configurées pour y accéder automatiquement.

Valeurs ajoutées - ilum-hive-metastore ​

Graphique entier nouvellement ajouté, vérifiez ses valeurs sur Page du graphique

Valeurs ajoutées - ilum-core ​

2. Extensions Postgres ajoutées ​

Caractéristique ​

Peu de sous-chars AIO d’ilum utilisent postgresql, pour faciliter la gestion du déploiement de ceux-ci, nous avons ajouté une ressource d’extension postgres pour créer des bases de données postgresql pour ilum sucharts.

Valeurs ajoutées - ilum-aio ​

Paramètres des extensions PostgreSQL ​

3. Loki et promtail dans le graphique ilum-aio ​

Caractéristique ​

Loki et promtail dans le graphique AIO ilum. Loki est un système d’agrégation de journaux multi-locataires évolutif horizontalement, hautement disponible et inspiré de Prometheus. Promtail est un agent qui envoie le contenu des journaux locaux à une instance de Grafana Loki. Ilum utilisera désormais loki pour agréger les journaux des pods de tâches Spark pour pouvoir nettoyer les ressources du cluster une fois les tâches terminées. Loki et promtail sont préconfigurés pour supprimer les journaux uniquement à partir des pods Spark exécutés par ilum afin de récupérer les journaux de travail une fois qu’ils sont terminés.

Valeurs ajoutées - ilum-core ​

Configuration de l’agrégation de journaux ​

Valeurs ajoutées - ilum-aio ​

Agrégation de journaux - Loki Config ​

Agrégation de journaux - Loki Config ​

VERSION 6.1.1 ​

1. Ajout de vérifications de l’état pour les tâches interactives ilum ​

Caractéristique ​

Pour éviter les situations d’écrasement inattendu des groupes d’ilum, nous avons ajouté des contrôles de santé pour nous assurer qu’ils fonctionnent comme ils le devraient.

Valeurs ajoutées - ilum-core ​

Paramètres ilum-job ​

2. Échelle de réplication paramétrée pour les services évolutifs ilum ​

Caractéristique ​

La configuration du nombre de réplicas pour les services évolutifs ilum a été extraite aux valeurs helm.

Valeurs ajoutées - ilum-core ​

Paramètres communs ilum-core ​

Valeurs ajoutées - ilum-ui ​

Paramètres communs ilum-ui ​

VERSION 6.1.0 ​

1. Suppression des paramètres inutiles du stockage wasbs du cluster ilum ​

Caractéristique ​

Les conteneurs de stockage WASBS n’ont plus besoin d’avoir le jeton sas porvidé dans les valeurs helm, car cela s’est avéré inutile

Valeurs supprimées - ilum-core ​

Paramètres de stockage WASB ​

Valeurs ajoutées - ilum-core ​

Paramètres de stockage WASB ​

2. Ajout de conteneurs d’initialisation pour vérifier la disponibilité du service ​

Caractéristique ​

Pour faciliter le déploiement d’Ilum, les conteneurs Ilum ont désormais des conteneurs en attente de la disponibilité des services dont ils dépendent.

Valeurs ajoutées - ilum-core ​

Valeurs ajoutées - ilum-livy-proxy ​

Valeurs ajoutées - ilum-ui ​

3. Producteurs de kafka paramétrés dans le graphique ilum-core ​

Caractéristique ​

En mode de communication kafka, ilum interactive jobs répond à des instances de job interactif à l’aide de kafka producers. Avec les nouvelles valeurs de helm, le producteur kafka peut être adapté aux besoins des utilisateurs.

Valeurs ajoutées - ilum-core ​

Paramètres Kafka ​

VERSION 6.1.0-RC1 ​

1. Ajout de la prise en charge des annotations de service ​

Caractéristique ​

Les annotations des services de graphiques helm Ilum peuvent désormais être configurées via des valeurs helm

Valeurs ajoutées - ilum-core ​

Paramètres de service ​

Valeurs ajoutées - ilum-jupyter ​

Paramètres de service ​

Valeurs ajoutées - ilum-livy-proxy ​

Paramètres de service ​

Valeurs ajoutées - ilum-ui ​

Paramètres de service ​

Valeurs ajoutées - ilum-zeppelin ​

Paramètres de service ​

2. Extraction des paramètres de sécurité oauth2 aux valeurs globales ​

Caractéristique ​

La configuration d’Ilum security oauth2 est désormais définie via des valeurs globales

Valeurs ajoutées - ilum-aio ​

Paramètres de sécurité ​

Valeurs supprimées - ilum-core ​

Paramètres de sécurité ​

3. Variables d’environnement d’exécution pour le frontend ​

Caractéristique ​

Configuration des variables d’environnement frontend via les valeurs helm ui.

Valeurs ajoutées - ilum-ui ​

Variables d’exécution ​

Valeurs supprimées - ilum-ui ​

4. Pile de Kube-prometheus dans le graphique ilum-aio ​

Caractéristique ​

Pile de Kube prometheus dans le graphique AIO de l’ilum. Préconfiguré pour fonctionner automatiquement avec le déploiement d’ilum afin de collecter les métriques des pods ilum et des tâches Spark exécutées par ilum. Ilum fournit des moniteurs de service prometheus pour extraire automatiquement les métriques des pods de pilote Spark exécutés par ilum et les services backend ilum. De plus, ilum_aio graphique fournit des tableaux de bord grafana intégrés qui peuvent être trouvés dans Ilum dossier.

Valeurs ajoutées - ilum-aio ​

kube-prometheus-stack variables - pour une vérification de configuration étendue Graphique helm de la pile Kube-Prometheus ​

Valeurs ajoutées - ilum-core ​

5. Marquez OpenLineage dans le graphique ilum-aio ​

Caractéristique ​

Marquez OpenLineage dans le graphique AIO ilum. Marquez permet d’utiliser, de stocker et de visualiser les métadonnées OpenLineage à l’échelle d’une organisation. Des cas d’utilisation tels que la gouvernance des données, la surveillance de la qualité des données et l’analyse des performances. Lorsque marquez est activé dans ilum AIO, la pile de helm spark exécutée par Ilum partagera les informations de traçabilité avec le backend de marquez. L’interface Web de Marquez visualise les informations de privilège des données collectées à partir des tâches Spark et elles sont accessibles via l’interface utilisateur ilum en tant qu’iframe.

Valeurs ajoutées - ilum-aio ​

Valeurs ajoutées - ilum-core ​

Valeurs ajoutées - ilum-marquez ​

Graphique entier nouvellement ajouté, vérifiez ses valeurs sur Page du graphique

Valeurs ajoutées - ilum-ui ​

VERSION 6.0.3 ​

1. Paramètre max.request.size paramétré des producteurs de kafka dans le graphique ilum-core ​

Caractéristique ​

En mode de communication kafka, ilum interactive jobs répond à des instances de job interactif à l’aide de kafka producers. Avec la nouvelle valeur helm max.request.size, le paramètre producteur kafka peut être adapté pour correspondre aux besoins de taille des réponses.

Valeurs ajoutées - ilum-core ​

Paramètres Kafka ​

VERSION 6.0.2 ​

1. Prise en charge de hdfs, gcs et du stockage blob Azure dans le graphique ilum-core ​

Caractéristique ​

Le cluster Ilum n’a plus besoin d’être attaché au stockage s3, à partir de maintenant, le cluster par défaut peut être configuré pour utiliser hdfs, gcs ou Azure Blob comme stockage. Cela peut être réalisé en utilisant les nouvelles valeurs ajoutées dans le graphique de barre ilum-core.

Valeurs supprimées - ilum-core ​

Valeurs ajoutées - ilum-core ​

Paramètres de stockage Kubernetes ​

Paramètres de stockage Kubernetes S3 ​

Paramètres de stockage GCS Kubernetes ​

Paramètres de stockage WASBS Kubernetes ​

Paramètres de stockage HDFS Kubernetes ​

Important! Assurez-vous que les compartiments S3/GCS ou les conteneurs WASBS sont déjà créés et accessibles !

2. Ajout d’un serveur d’historique d’étincelles au graphique helm d’ilum-core ​

Caractéristique ​

Le serveur d’historique Spark peut être déployé dès maintenant avec ilum-core. La configuration du serveur d’historique est transmise à chaque travail Spark exécuté par ilum. L’interface utilisateur du serveur d’historique est désormais accessible par l’interface utilisateur ilum. S’il est activé, il utilisera le stockage de cluster kubernetes par défaut configuré avec kubernetes. [STORAGE_TYPE]. [PARAMETER] comme stockage eventLog.

Valeurs ajoutées - ilum-core ​

Paramètres du serveur d’historique ​

Limites: 
mémoire : « 500Mi » 
Requêtes: 
mémoire : « 300Mi »