Ilum API ( 1.5.3)

Télécharger la spécification OpenAPI : Télécharger

Ilum API

Groupe

Renvoie une page de groupes existants

requête Paramètres

groupÉtats	Tableau de Cordes ( groupState ) Articles Énumération : « ACTIF » « ARCHIVÉ » La liste des états de groupe à appliquer pour le filtrage
groupTypes	Tableau de Cordes ( groupKind ) Articles Énumération : « TRAVAIL » « CODE » La liste des types de groupes à appliquer pour le filtrage
jobStates	Tableau de Cordes ( jobState ) Faire défaut: "SUBMITTED&jobStates=STARTING&jobStates=READY&jobStates=BUSY" Articles Énumération : « SOUMIS » « DÉMARRAGE » « PRÊT » « OCCUPÉ » « ÉCHEC » « TERMINÉ » "CANCELED" « INCONNU » La liste des états de travail à appliquer au filtrage
clusterNames	Tableau de Cordes La liste des noms de cluster à appliquer pour le filtrage
étiquettes	corde Une liste de balises séparées par des points-virgules à appliquer pour le filtrage. Modèle : clé1=valeur1 ; clé2=valeur2
rechercher	corde Le mot à appliquer pour le filtrage
page	entier Faire défaut: 0 Le numéro de page à retourner
taille	entier Faire défaut: 10 La taille de la page à renvoyer
trier	Tableau de Cordes Exemple: sort=nom,asc Les règles de tri à appliquer pour définir l’ordre de pagination

Réponses

Exemples de réponses

200

Type de contenu

application/json

{ « page » : { « numéro » : 0 , 
« taille » : 0 , 
« décalage » : 0 , 
« paginé » : vrai 
} , 
« trier » : [ « chaîne » 
] , 
« totalElements » : 0 , 
« totalPages » : 0 , 
« premier » : vrai , 
« Dernier » : vrai , 
« vide » : vrai , 
« contenu » : [ { « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
« description » : « chaîne » , 
« Gentil » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« clusterName » : « chaîne » , 
« État » : « chaîne » , 
« échelle » : 0 , 
« jobConfig » : { } , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« createdTime » : 0 , 
« archivedTime » : 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} , 
"autoPause": vrai , 
« emplois » : [ { « jobId » : « chaîne » , 
« groupId » : « chaîne » , 
"scheduleId": « chaîne » , 
« jobName » : « chaîne » , 
« jobType » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : « chaîne » , 
"args": [ « chaîne » 
] , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« appId » : « chaîne » , 
« État » : « chaîne » , 
« erreur » : « chaîne » , 
« submitTime » : 0 , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
"attempt": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} 
} 
] 
} 
] 
}

Crée un groupe de travaux Spark interactifs

Schéma du corps de la requête : multipart/form-data
Obligatoire

nom Obligatoire	corde
description	corde
gentil	corde Faire défaut: « TRAVAIL » Énumération : « TRAVAIL » « CODE »
étiquettes	corde Faire défaut: "clé=valeur ; clé2=valeur2" Une liste de balises séparées par un point-virgule. La clé et la valeur du paramètre doivent être séparées par un signe égal.
Langue	corde Faire défaut: « SCALA » Énumération : « SCALA » « PYTHON »
clusterName Obligatoire	corde Faire défaut: « par défaut »
Pots	Tableau de Cordes < binaire > [ éléments < binaire > ]
Fichiers	Tableau de Cordes < binaire > [ éléments < binaire > ]
pyFiles	Tableau de Cordes < binaire > [ éléments < binaire > ]
jobConfig	corde Faire défaut: "spark.key=valeur ; spark.key2=valeur2" Liste de paramètres Spark séparés par des points-virgules à appliquer pour le travail Spark. La clé et la valeur du paramètre doivent être séparées par un signe égal.
pyExigences	corde Une liste d’exigences python séparées par des points-virgules. Le nom et la version du paquet (le cas échéant) doivent être séparés par un signe égal double.
packages	corde Comma-separated list of Maven coordinates of jars to include on the driver and executor classpaths. The coordinates should be groupId:artifactId:version.
écaille	corde Faire défaut: 1 Nombre entier de tâches Spark à lancer au sein de ce groupe
executors	corde number of executors to run
driverCores	corde Number of cores to use for the driver process.
executorCores	corde The number of cores to use on each executor.
driverMemory	corde Amount of memory to use for the driver process, i.e. where SparkContext is initialized, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
executorMemory	corde Amount of memory to use per executor process, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
dynamicAllocation	corde Faire défaut: « faux » Whether to use dynamic resource allocation, which scales the number of executors registered with this application up and down based on the workload.
initialExecutors	corde Initial number of executors to run if dynamic allocation is enabled.
minExecutors	corde Upper bound for the number of executors if dynamic allocation is enabled.
maxExecutors	corde Lower bound for the number of executors if dynamic allocation is enabled.
autoPause	corde Faire défaut: « faux » Boolean flag to enable auto-pause feature

Réponses

Exemples de réponses

200
402
404
409

Type de contenu

application/json

{ « groupId » : « chaîne » 
}

Renvoie un groupe trouvé par son id

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

Réponses

Exemples de réponses

200
404

Type de contenu

application/json

{ « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
« description » : « chaîne » , 
« Gentil » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« clusterName » : « chaîne » , 
« État » : « chaîne » , 
« échelle » : 0 , 
« jobConfig » : { } , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« createdTime » : 0 , 
« archivedTime » : 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} , 
"autoPause": vrai , 
« emplois » : [ { « jobId » : « chaîne » , 
« groupId » : « chaîne » , 
"scheduleId": « chaîne » , 
« jobName » : « chaîne » , 
« jobType » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : « chaîne » , 
"args": [ « chaîne » 
] , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« appId » : « chaîne » , 
« État » : « chaîne » , 
« erreur » : « chaîne » , 
« submitTime » : 0 , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
"attempt": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} 
} 
] 
}

Supprime un groupe par son id

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Updates a group by its id

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

Schéma du corps de la requête : multipart/form-data
Obligatoire

description	corde
étiquettes	corde Une liste de balises séparées par un point-virgule. La clé et la valeur du paramètre doivent être séparées par un signe égal.
jobConfig	corde Liste de paramètres Spark séparés par des points-virgules à appliquer pour le travail Spark. La clé et la valeur du paramètre doivent être séparées par un signe égal.
pyExigences	corde Une liste d’exigences python séparées par des points-virgules. Le nom et la version du paquet (le cas échéant) doivent être séparés par un signe égal double.
packages	corde Comma-separated list of Maven coordinates of jars to include on the driver and executor classpaths. The coordinates should be groupId:artifactId:version.
écaille	corde Nombre entier de tâches Spark à lancer au sein de ce groupe
executors	corde number of executors to run
driverCores	corde Number of cores to use for the driver process.
executorCores	corde The number of cores to use on each executor.
driverMemory	corde Amount of memory to use for the driver process, i.e. where SparkContext is initialized, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
executorMemory	corde Amount of memory to use per executor process, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
dynamicAllocation	corde Faire défaut: « faux » Whether to use dynamic resource allocation, which scales the number of executors registered with this application up and down based on the workload.
initialExecutors	corde Initial number of executors to run if dynamic allocation is enabled.
minExecutors	corde Upper bound for the number of executors if dynamic allocation is enabled.
maxExecutors	corde Lower bound for the number of executors if dynamic allocation is enabled.
autoPause	corde Faire défaut: « faux » Boolean flag to enable auto-pause feature

Réponses

Exemples de réponses

402
404
409

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Exécute un travail Spark interactif au sein du groupe choisi

Exécute un travail Spark interactif dans le groupe choisi et attend que l’instance de travail soit terminée. Son résultat est renvoyé en réponse.

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

Schéma du corps de la requête : application/json
Obligatoire

type Obligatoire	corde Faire défaut: « interactive_job_execute » interactive_job_execute
jobClass Obligatoire	corde
Obligatoire	objet

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

Exemple

interactive_job_execute

{ « type » : « interactive_job_execute » , 
« ClasseEmploi » : « chaîne » , 
« jobConfig » : { } 
}

Exemples de réponses

200
402
404
409

Type de contenu

application/json

{ « jobInstanceId » : « chaîne » , 
« jobId » : « chaîne » , 
« groupId » : « chaîne » , 
« startTime » : 0 , 
« heure de fin » : 0 , 
« ClasseEmploi » : « chaîne » , 
« jobConfig » : { } , 
« résultat » : « chaîne » , 
« erreur » : { « Message » : « chaîne » , 
« stackTrace » : « chaîne » 
} 
}

Renvoie une page des résultats d’instance de travail de groupe existante

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

requête Paramètres

rechercher	corde Le mot à appliquer pour le filtrage
page	entier Faire défaut: 0 Le numéro de page à retourner
taille	entier Faire défaut: 10 La taille de la page à renvoyer
trier	Tableau de Cordes Exemple: sort=nom,asc Les règles de tri à appliquer pour définir l’ordre de pagination

Réponses

Exemples de réponses

200

Type de contenu

application/json

{ « page » : { « numéro » : 0 , 
« taille » : 0 , 
« décalage » : 0 , 
« paginé » : vrai 
} , 
« trier » : [ « chaîne » 
] , 
« totalElements » : 0 , 
« totalPages » : 0 , 
« premier » : vrai , 
« Dernier » : vrai , 
« vide » : vrai , 
« contenu » : [ { « jobInstanceId » : « chaîne » , 
« jobId » : « chaîne » , 
« groupId » : « chaîne » , 
« startTime » : 0 , 
« heure de fin » : 0 , 
« ClasseEmploi » : « chaîne » , 
« jobConfig » : { } , 
« résultat » : « chaîne » , 
« erreur » : { « Message » : « chaîne » , 
« stackTrace » : « chaîne » 
} 
} 
] 
}

Envoie une tâche Spark interactive au sein du groupe choisi

Envoie une tâche Spark interactive au sein du groupe choisi. Il n’attend pas que le travail soit terminé. Au lieu de cela, il renvoie l’identifiant de l’instance de tâche créée. Son résultat peut être récupéré par le résultat d’une instance de travail Mettre à jour l’abonnement.

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

Schéma du corps de la requête : application/json
Obligatoire

type Obligatoire	corde Faire défaut: « interactive_job_execute » interactive_job_execute
jobClass Obligatoire	corde
Obligatoire	objet

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

Exemple

interactive_job_execute

{ « type » : « interactive_job_execute » , 
« ClasseEmploi » : « chaîne » , 
« jobConfig » : { } 
}

Exemples de réponses

200
402
404
409

Type de contenu

application/json

{ « jobInstanceId » : « chaîne » 
}

Modifie le nombre de travaux Spark interactifs utilisés par le groupe choisi

chemin Paramètres

groupId Obligatoire	corde L’identifiant unique d’un groupe
écaille Obligatoire	entier Nombre d’instances à mettre à l’échelle le travail Spark interactif au sein du groupe

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Restarts a chosen group

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Pauses a chosen group

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Resumes a chosen group

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Arrête un groupe choisi et le met à l’état ARCHIVÉ

chemin Paramètres

groupId

Obligatoire

corde

L’identifiant unique d’un groupe

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Renvoie un flux de modifications interactives des résultats de la tâche Spark

requête Paramètres

jobIds	Tableau de Cordes La liste des ID de tâche à appliquer au filtrage
groupIds	Tableau de Cordes La liste des identifiants de groupe à appliquer pour le filtrage
clusterNames	Tableau de Cordes La liste des noms de cluster à appliquer pour le filtrage
groupNames	Tableau de Cordes La liste des noms de groupe à appliquer pour le filtrage
étiquettes	corde Une liste de balises séparées par des points-virgules à appliquer pour le filtrage. Modèle : clé1=valeur1 ; clé2=valeur2

Réponses

Renvoie un groupe trouvé par son nom

chemin Paramètres

nom_groupe

Obligatoire

corde

Le nom unique d’un groupe

Réponses

Exemples de réponses

200
404

Type de contenu

application/json

{ « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
« description » : « chaîne » , 
« Gentil » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« clusterName » : « chaîne » , 
« État » : « chaîne » , 
« échelle » : 0 , 
« jobConfig » : { } , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« createdTime » : 0 , 
« archivedTime » : 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} , 
"autoPause": vrai , 
« emplois » : [ { « jobId » : « chaîne » , 
« groupId » : « chaîne » , 
"scheduleId": « chaîne » , 
« jobName » : « chaîne » , 
« jobType » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : « chaîne » , 
"args": [ « chaîne » 
] , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« appId » : « chaîne » , 
« État » : « chaîne » , 
« erreur » : « chaîne » , 
« submitTime » : 0 , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
"attempt": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} 
} 
] 
}

Horaire

Returns a page of existing schedules

requête Paramètres

scheduleStates	Tableau de Cordes ( scheduleState) Faire défaut: "ENABLED" Articles Énumération : "ENABLED" "DISABLED" "PAUSED" The list of schedule states to apply for filtering
scheduleCrons	Tableau de Cordes The list of schedule crons to apply for filtering
jobStates	Tableau de Cordes ( jobState ) Faire défaut: "SUBMITTED&jobStates=STARTING&jobStates=READY&jobStates=BUSY" Articles Énumération : « SOUMIS » « DÉMARRAGE » « PRÊT » « OCCUPÉ » « ÉCHEC » « TERMINÉ » "CANCELED" « INCONNU » La liste des états de travail à appliquer au filtrage
clusterNames	Tableau de Cordes La liste des noms de cluster à appliquer pour le filtrage
étiquettes	corde Une liste de balises séparées par des points-virgules à appliquer pour le filtrage. Modèle : clé1=valeur1 ; clé2=valeur2
rechercher	corde Le mot à appliquer pour le filtrage
page	entier Faire défaut: 0 Le numéro de page à retourner
taille	entier Faire défaut: 10 La taille de la page à renvoyer
trier	Tableau de Cordes Exemple: sort=nom,asc Les règles de tri à appliquer pour définir l’ordre de pagination

Réponses

Exemples de réponses

200

Type de contenu

application/json

{ « page » : { « numéro » : 0 , 
« taille » : 0 , 
« décalage » : 0 , 
« paginé » : vrai 
} , 
« trier » : [ « chaîne » 
] , 
« totalElements » : 0 , 
« totalPages » : 0 , 
« premier » : vrai , 
« Dernier » : vrai , 
« vide » : vrai , 
« contenu » : [ { « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
« description » : « chaîne » , 
"cron": « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : { } , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« État » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
"args": [ « chaîne » 
] , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
« createdTime » : 0 , 
"disabledTime": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} , 
« emplois » : [ { « jobId » : « chaîne » , 
« groupId » : « chaîne » , 
"scheduleId": « chaîne » , 
« jobName » : « chaîne » , 
« jobType » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : « chaîne » , 
"args": [ « chaîne » 
] , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« appId » : « chaîne » , 
« État » : « chaîne » , 
« erreur » : « chaîne » , 
« submitTime » : 0 , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
"attempt": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} 
} 
] 
} 
] 
}

Creates a schedule of single Spark jobs

Schéma du corps de la requête : multipart/form-data
Obligatoire

nom Obligatoire	corde
description	corde
cron Obligatoire	corde
étiquettes	corde Faire défaut: "clé=valeur ; clé2=valeur2" Une liste de balises séparées par un point-virgule. La clé et la valeur du paramètre doivent être séparées par un signe égal.
Langue	corde Faire défaut: « SCALA » Énumération : « SCALA » « PYTHON »
clusterName Obligatoire	corde Faire défaut: « par défaut »
Pots	Tableau de Cordes < binaire > [ éléments < binaire > ]
Fichiers	Tableau de Cordes < binaire > [ éléments < binaire > ]
pyFiles	Tableau de Cordes < binaire > [ éléments < binaire > ]
jobConfig	corde Faire défaut: "spark.key=valeur ; spark.key2=valeur2" Liste de paramètres Spark séparés par des points-virgules à appliquer pour le travail Spark. La clé et la valeur du paramètre doivent être séparées par un signe égal.
jobClass Obligatoire	corde
args	corde list of spark arguments to be applied for the Spark job.
pyExigences	corde Une liste d’exigences python séparées par des points-virgules. Le nom et la version du paquet (le cas échéant) doivent être séparés par un signe égal double.
packages	corde Comma-separated list of Maven coordinates of jars to include on the driver and executor classpaths. The coordinates should be groupId:artifactId:version.
startTime	corde The time when the schedule will start in epoch milliseconds (e.g. 1727733600000, which means 01.10.2024). If not provided, the schedule will start immediately.
endTime	corde The time when the schedule will be suspended in epoch milliseconds (e.g. 1727820000000, which means 02.10.2024). If not provided, the schedule will create jobs until schedule disabling.
maxRetries	corde Faire défaut: 0 Max number of retries to be performed if the job fails
executors	corde number of executors to run
driverCores	corde Number of cores to use for the driver process.
executorCores	corde The number of cores to use on each executor.
driverMemory	corde Amount of memory to use for the driver process, i.e. where SparkContext is initialized, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
executorMemory	corde Amount of memory to use per executor process, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
dynamicAllocation	corde Faire défaut: « faux » Whether to use dynamic resource allocation, which scales the number of executors registered with this application up and down based on the workload.
initialExecutors	corde Initial number of executors to run if dynamic allocation is enabled.
minExecutors	corde Upper bound for the number of executors if dynamic allocation is enabled.
maxExecutors	corde Lower bound for the number of executors if dynamic allocation is enabled.

Réponses

Exemples de réponses

200
402
404
409

Type de contenu

application/json

{ "scheduleId": « chaîne » 
}

Returns a schedule found by its id

chemin Paramètres

scheduleId

Obligatoire

corde

The unique identifier of a schedule

Réponses

Exemples de réponses

200
404

Type de contenu

application/json

{ « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
« description » : « chaîne » , 
"cron": « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : { } , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« État » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
"args": [ « chaîne » 
] , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
« createdTime » : 0 , 
"disabledTime": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} , 
« emplois » : [ { « jobId » : « chaîne » , 
« groupId » : « chaîne » , 
"scheduleId": « chaîne » , 
« jobName » : « chaîne » , 
« jobType » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : « chaîne » , 
"args": [ « chaîne » 
] , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« appId » : « chaîne » , 
« État » : « chaîne » , 
« erreur » : « chaîne » , 
« submitTime » : 0 , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
"attempt": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} 
} 
] 
}

Updates a schedule by its id

chemin Paramètres

scheduleId

Obligatoire

corde

The unique identifier of a schedule

Schéma du corps de la requête : multipart/form-data
Obligatoire

description	corde
étiquettes	corde Une liste de balises séparées par un point-virgule. La clé et la valeur du paramètre doivent être séparées par un signe égal.
jobConfig	corde Liste de paramètres Spark séparés par des points-virgules à appliquer pour le travail Spark. La clé et la valeur du paramètre doivent être séparées par un signe égal.
cron	corde Cron expression to be applied for the schedule
args	corde Liste d’arguments Spark séparés par des points-virgules à appliquer pour le travail Spark.
jobClass	corde
pyExigences	corde Une liste d’exigences python séparées par des points-virgules. Le nom et la version du paquet (le cas échéant) doivent être séparés par un signe égal double.
packages	corde Comma-separated list of Maven coordinates of jars to include on the driver and executor classpaths. The coordinates should be groupId:artifactId:version.
startTime	corde The time when the schedule will start in epoch milliseconds (e.g. 1727733600000, which means 01.10.2024). If not provided, the schedule will start immediately.
endTime	corde The time when the schedule will be suspended in epoch milliseconds (e.g. 1727820000000, which means 02.10.2024). If not provided, the schedule will create jobs until schedule disabling.
maxRetries	corde Max number of retries to be performed if the job fails
executors	corde number of executors to run
driverCores	corde Number of cores to use for the driver process.
executorCores	corde The number of cores to use on each executor.
driverMemory	corde Amount of memory to use for the driver process, i.e. where SparkContext is initialized, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
executorMemory	corde Amount of memory to use per executor process, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
dynamicAllocation	corde Faire défaut: « faux » Whether to use dynamic resource allocation, which scales the number of executors registered with this application up and down based on the workload.
initialExecutors	corde Initial number of executors to run if dynamic allocation is enabled.
minExecutors	corde Upper bound for the number of executors if dynamic allocation is enabled.
maxExecutors	corde Lower bound for the number of executors if dynamic allocation is enabled.

Réponses

Exemples de réponses

402
404
409

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Deletes a schedule by its id

chemin Paramètres

scheduleId

Obligatoire

corde

The unique identifier of a schedule

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Pauses a chosen schedule

chemin Paramètres

scheduleId

Obligatoire

corde

The unique identifier of a schedule

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Resumes a chosen schedule

chemin Paramètres

scheduleId

Obligatoire

corde

The unique identifier of a schedule

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Stops a chosen schedule and puts it in DISABLED state

chemin Paramètres

scheduleId

Obligatoire

corde

The unique identifier of a schedule

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Returns a schedule found by its name

chemin Paramètres

scheduleName

Obligatoire

corde

The unique name of a schedule

Réponses

Exemples de réponses

200
404

Type de contenu

application/json

{ « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
« description » : « chaîne » , 
"cron": « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : { } , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« État » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
"args": [ « chaîne » 
] , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
« createdTime » : 0 , 
"disabledTime": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} , 
« emplois » : [ { « jobId » : « chaîne » , 
« groupId » : « chaîne » , 
"scheduleId": « chaîne » , 
« jobName » : « chaîne » , 
« jobType » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : « chaîne » , 
"args": [ « chaîne » 
] , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« appId » : « chaîne » , 
« État » : « chaîne » , 
« erreur » : « chaîne » , 
« submitTime » : 0 , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
"attempt": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} 
} 
] 
}

Travail

Renvoie une page de tâches existantes

requête Paramètres

jobTypes	Tableau de Cordes ( jobType ) Articles Énumération : « SINGLE » « INTERACTIF » « COQUILLAGE » La liste des types de tâches à appliquer au filtrage
jobStates	Tableau de Cordes ( jobState ) Faire défaut: "SUBMITTED&jobStates=STARTING&jobStates=READY&jobStates=BUSY" Articles Énumération : « SOUMIS » « DÉMARRAGE » « PRÊT » « OCCUPÉ » « ÉCHEC » « TERMINÉ » "CANCELED" « INCONNU » La liste des états de travail à appliquer au filtrage
clusterNames	Tableau de Cordes La liste des noms de cluster à appliquer pour le filtrage
étiquettes	corde Une liste de balises séparées par des points-virgules à appliquer pour le filtrage. Modèle : clé1=valeur1 ; clé2=valeur2
rechercher	corde Le mot à appliquer pour le filtrage
page	entier Faire défaut: 0 Le numéro de page à retourner
taille	entier Faire défaut: 10 La taille de la page à renvoyer
trier	Tableau de Cordes Exemple: sort=nom,asc Les règles de tri à appliquer pour définir l’ordre de pagination

Réponses

Exemples de réponses

200

Type de contenu

application/json

{ « page » : { « numéro » : 0 , 
« taille » : 0 , 
« décalage » : 0 , 
« paginé » : vrai 
} , 
« trier » : [ « chaîne » 
] , 
« totalElements » : 0 , 
« totalPages » : 0 , 
« premier » : vrai , 
« Dernier » : vrai , 
« vide » : vrai , 
« contenu » : [ { « jobId » : « chaîne » , 
« groupId » : « chaîne » , 
"scheduleId": « chaîne » , 
« jobName » : « chaîne » , 
« jobType » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : « chaîne » , 
"args": [ « chaîne » 
] , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« appId » : « chaîne » , 
« État » : « chaîne » , 
« erreur » : « chaîne » , 
« submitTime » : 0 , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
"attempt": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} 
} 
] 
}

Renvoie une tâche trouvée par son id

chemin Paramètres

jobId

Obligatoire

corde

L’identifiant unique d’une tâche

Réponses

Exemples de réponses

200
404

Type de contenu

application/json

{ « jobId » : « chaîne » , 
« groupId » : « chaîne » , 
"scheduleId": « chaîne » , 
« jobName » : « chaîne » , 
« jobType » : « chaîne » , 
« Tags » : « chaîne » , 
« langue » : « chaîne » , 
« ClasseEmploi » : « chaîne » , 
« clusterName » : « chaîne » , 
« jobConfig » : « chaîne » , 
"args": [ « chaîne » 
] , 
« pyRequirements » : « chaîne » , 
"packages": « chaîne » , 
« appId » : « chaîne » , 
« État » : « chaîne » , 
« erreur » : « chaîne » , 
« submitTime » : 0 , 
« startTime » : 0 , 
« heure de fin » : 0 , 
"maxRetries": 0 , 
"attempt": 0 , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} 
}

Supprime une tâche trouvée par son id

chemin Paramètres

jobId

Obligatoire

corde

L’identifiant unique d’une tâche

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Stops a chosen job and puts it in CANCELED state

chemin Paramètres

jobId

Obligatoire

corde

L’identifiant unique d’une tâche

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Renvoie les journaux pour toutes les ressources de travail

chemin Paramètres

jobId

Obligatoire

corde

L’identifiant unique d’une tâche

requête Paramètres

logSize	entier < int64 > Faire défaut: 100 Nombre maximal de lignes de journal à renvoyer. La limite dans l’API est fixée à 25000 lignes, vous pouvez la modifier en définissant le paramètre ilum.api.job.logs.maxLines dans le fichier de configuration d’ilum-core
De	entier < int64 > Faire défaut: 0 Décalage par rapport au début de la bûche

Réponses

Exemples de réponses

200
404

Type de contenu

application/json

[ { « nom » : « chaîne » , 
« type » : « chaîne » , 
« rôle » : « chaîne » , 
« État » : « chaîne » , 
« de » : 0 , 
« logSize » : 0 , 
« fileName » : « chaîne » , 
« journal » : [ « chaîne » 
] 
} 
]

Envoi d’une seule tâche Spark

Schéma du corps de la requête : multipart/form-data
Obligatoire

nom Obligatoire	corde
étiquettes	corde Faire défaut: "clé=valeur ; clé2=valeur2" Une liste de balises séparées par un point-virgule. La clé et la valeur du paramètre doivent être séparées par un signe égal.
Langue	corde Faire défaut: « SCALA » Énumération : « SCALA » « PYTHON »
clusterName Obligatoire	corde Faire défaut: « par défaut »
jobClass	corde
Pots	Tableau de Cordes < binaire > [ éléments < binaire > ]
Fichiers	Tableau de Cordes < binaire > [ éléments < binaire > ]
pyFiles	Tableau de Cordes < binaire > [ éléments < binaire > ]
jobConfig	corde Faire défaut: "spark.key=valeur ; spark.key2=valeur2" Liste de paramètres Spark séparés par des points-virgules à appliquer pour le travail Spark. La clé et la valeur du paramètre doivent être séparées par un signe égal.
pyExigences	corde Une liste d’exigences python séparées par des points-virgules. Le nom et la version du paquet (le cas échéant) doivent être séparés par un signe égal double.
packages	corde Comma-separated list of Maven coordinates of jars to include on the driver and executor classpaths. The coordinates should be groupId:artifactId:version.
args	corde Liste d’arguments Spark séparés par des points-virgules à appliquer pour le travail Spark.
maxRetries	corde Faire défaut: 0 Max number of retries to be performed if the job fails
executors	corde number of executors to run
driverCores	corde Number of cores to use for the driver process.
executorCores	corde The number of cores to use on each executor.
driverMemory	corde Amount of memory to use for the driver process, i.e. where SparkContext is initialized, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
executorMemory	corde Amount of memory to use per executor process, in the same format as JVM memory strings with a size unit suffix ("k", "m", "g" or "t") (e.g. 512m, 2g).
dynamicAllocation	corde Faire défaut: « faux » Whether to use dynamic resource allocation, which scales the number of executors registered with this application up and down based on the workload.
initialExecutors	corde Initial number of executors to run if dynamic allocation is enabled.
minExecutors	corde Upper bound for the number of executors if dynamic allocation is enabled.
maxExecutors	corde Lower bound for the number of executors if dynamic allocation is enabled.

Réponses

Exemples de réponses

200
402
404
409

Type de contenu

application/json

{ « jobId » : « chaîne » 
}

Renvoie un flux de modifications de la tâche Spark

requête Paramètres

jobIds	Tableau de Cordes La liste des ID de tâche à appliquer au filtrage
groupIds	Tableau de Cordes La liste des identifiants de groupe à appliquer pour le filtrage
clusterNames	Tableau de Cordes La liste des noms de cluster à appliquer pour le filtrage
étiquettes	corde Une liste de balises séparées par des points-virgules à appliquer pour le filtrage. Modèle : clé1=valeur1 ; clé2=valeur2

Réponses

Grappe

Crée une définition de cluster

Schéma du corps de la requête : application/json
Obligatoire

nom Obligatoire	corde
description	corde
	objet
étincelleStockage	corde Faire défaut: « S3 »
metastoreName	corde
	objet ( memorySettingsCreation)
defaultApplicationConfig	corde
type Obligatoire	corde Faire défaut: « K8S » K8S
URL Obligatoire	corde
caCert	corde
clientCert	corde
Clé cliente	corde
clientKeyAlgorithm	corde
clientKeyPassphrase	corde
nom d’utilisateur	corde
mot de passe	corde
	objet ( clusterResourceQuota)
	objet ( clusterLimitRange)

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

Exemple

K8S

{ « nom » : « chaîne » , 
« description » : « chaîne » , 
« stockages » : { « propriété1 » : { « sparkBucket » : « chaîne » , 
« seaude de données » : « chaîne » , 
"extraBuckets": [ « chaîne » 
] , 
« type » : « S3 » , 
« point final » : « chaîne » , 
"region": "us-east-1", 
« Clé d’accès » : « chaîne » , 
« Clé secrète » : « chaîne » 
} , 
« propriété2 » : { « sparkBucket » : « chaîne » , 
« seaude de données » : « chaîne » , 
"extraBuckets": [ « chaîne » 
] , 
« type » : « S3 » , 
« point final » : « chaîne » , 
"region": "us-east-1", 
« Clé d’accès » : « chaîne » , 
« Clé secrète » : « chaîne » 
} 
} , 
« sparkStorage » : « S3 » , 
"metastoreName": « chaîne » , 
"memorySettings": { "executors": « chaîne » , 
"driverCores": « chaîne » , 
"executorCores": « chaîne » , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": « faux » , 
"initialExecutors": « chaîne » , 
"minExecutors": « chaîne » , 
"maxExecutors": « chaîne » 
} , 
« defaultApplicationConfig » : « chaîne » , 
« type » : « K8S » , 
« Url » : « chaîne » , 
« caCert » : « chaîne » , 
« clientCert » : « chaîne » , 
« CléClient » : « chaîne » , 
« clientKeyAlgorithm » : « chaîne » , 
« clientKeyPassphrase » : « chaîne » , 
« nom d’utilisateur » : « chaîne » , 
« mot de passe » : « chaîne » , 
"resourceQuota": { "limitsPod": « chaîne » , 
"limitsCpu": « chaîne » , 
"limitsMemory": « chaîne » , 
"requestsCpu": « chaîne » , 
"requestsMemory": « chaîne » 
} , 
"limitRange": { "cpuLimitRange": { "defaultLimit": « chaîne » , 
"defaultRequest": « chaîne » , 
"minRequest": « chaîne » , 
"maxLimit": « chaîne » , 
"maxLimitRequestRatio": « chaîne » 
} , 
"memoryLimitRange": { "defaultLimit": « chaîne » , 
"defaultRequest": « chaîne » , 
"minRequest": « chaîne » , 
"maxLimit": « chaîne » , 
"maxLimitRequestRatio": « chaîne » 
} 
} 
}

Exemples de réponses

200
402
409

Type de contenu

application/json

{ « clusterId » : « chaîne » 
}

Renvoie une page de clusters existants

requête Paramètres

rechercher	corde Le mot à appliquer pour le filtrage
page	entier Faire défaut: 0 Le numéro de page à retourner
taille	entier Faire défaut: 10 La taille de la page à renvoyer
trier	Tableau de Cordes Exemple: sort=nom,asc Les règles de tri à appliquer pour définir l’ordre de pagination

Réponses

Exemples de réponses

200

Type de contenu

application/json

{ « page » : { « numéro » : 0 , 
« taille » : 0 , 
« décalage » : 0 , 
« paginé » : vrai 
} , 
« trier » : [ « chaîne » 
] , 
« totalElements » : 0 , 
« totalPages » : 0 , 
« premier » : vrai , 
« Dernier » : vrai , 
« vide » : vrai , 
« contenu » : [ { « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
« description » : « chaîne » , 
« Maître de l’étincelle » : « chaîne » , 
« sparkDeployMode » : « chaîne » , 
« sparkStorage » : « chaîne » , 
"metastoreName": « chaîne » , 
« stockages » : { « propriété1 » : { « sparkBucket » : « chaîne » , 
« seaude de données » : « chaîne » , 
"extraBuckets": [ « chaîne » 
] , 
« type » : « S3 » , 
« point final » : « chaîne » , 
"region": "us-east-1", 
« Clé d’accès » : « chaîne » , 
« Clé secrète » : « chaîne » 
} , 
« propriété2 » : { « sparkBucket » : « chaîne » , 
« seaude de données » : « chaîne » , 
"extraBuckets": [ « chaîne » 
] , 
« type » : « S3 » , 
« point final » : « chaîne » , 
"region": "us-east-1", 
« Clé d’accès » : « chaîne » , 
« Clé secrète » : « chaîne » 
} 
} , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} , 
« defaultApplicationConfig » : « chaîne » , 
« type » : « K8S » , 
« Url » : « chaîne » , 
« caCert » : « chaîne » , 
« clientCert » : « chaîne » , 
« CléClient » : « chaîne » , 
« clientKeyAlgorithm » : « chaîne » , 
« clientKeyPassphrase » : « chaîne » , 
« nom d’utilisateur » : « chaîne » , 
« mot de passe » : « chaîne » , 
"resourceQuota": { "limitsPod": « chaîne » , 
"limitsCpu": « chaîne » , 
"limitsMemory": « chaîne » , 
"requestsCpu": « chaîne » , 
"requestsMemory": « chaîne » 
} , 
"limitRange": { "cpuLimitRange": { "defaultLimit": « chaîne » , 
"defaultRequest": « chaîne » , 
"minRequest": « chaîne » , 
"maxLimit": « chaîne » , 
"maxLimitRequestRatio": « chaîne » 
} , 
"memoryLimitRange": { "defaultLimit": « chaîne » , 
"defaultRequest": « chaîne » , 
"minRequest": « chaîne » , 
"maxLimit": « chaîne » , 
"maxLimitRequestRatio": « chaîne » 
} 
} 
} 
] 
}

Renvoie un cluster trouvé par son id

chemin Paramètres

clusterId

Obligatoire

corde

L’identifiant unique d’un cluster

Réponses

Exemples de réponses

200
404

Type de contenu

application/json

Exemple

K8S

{ « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
« description » : « chaîne » , 
« Maître de l’étincelle » : « chaîne » , 
« sparkDeployMode » : « chaîne » , 
« sparkStorage » : « chaîne » , 
"metastoreName": « chaîne » , 
« stockages » : { « propriété1 » : { « sparkBucket » : « chaîne » , 
« seaude de données » : « chaîne » , 
"extraBuckets": [ « chaîne » 
] , 
« type » : « S3 » , 
« point final » : « chaîne » , 
"region": "us-east-1", 
« Clé d’accès » : « chaîne » , 
« Clé secrète » : « chaîne » 
} , 
« propriété2 » : { « sparkBucket » : « chaîne » , 
« seaude de données » : « chaîne » , 
"extraBuckets": [ « chaîne » 
] , 
« type » : « S3 » , 
« point final » : « chaîne » , 
"region": "us-east-1", 
« Clé d’accès » : « chaîne » , 
« Clé secrète » : « chaîne » 
} 
} , 
"memorySettings": { "executors": 0 , 
"driverCores": 0 , 
"executorCores": 0 , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": vrai , 
"initialExecutors": 0 , 
"minExecutors": 0 , 
"maxExecutors": 0 
} , 
« defaultApplicationConfig » : « chaîne » , 
« type » : « K8S » , 
« Url » : « chaîne » , 
« caCert » : « chaîne » , 
« clientCert » : « chaîne » , 
« CléClient » : « chaîne » , 
« clientKeyAlgorithm » : « chaîne » , 
« clientKeyPassphrase » : « chaîne » , 
« nom d’utilisateur » : « chaîne » , 
« mot de passe » : « chaîne » , 
"resourceQuota": { "limitsPod": « chaîne » , 
"limitsCpu": « chaîne » , 
"limitsMemory": « chaîne » , 
"requestsCpu": « chaîne » , 
"requestsMemory": « chaîne » 
} , 
"limitRange": { "cpuLimitRange": { "defaultLimit": « chaîne » , 
"defaultRequest": « chaîne » , 
"minRequest": « chaîne » , 
"maxLimit": « chaîne » , 
"maxLimitRequestRatio": « chaîne » 
} , 
"memoryLimitRange": { "defaultLimit": « chaîne » , 
"defaultRequest": « chaîne » , 
"minRequest": « chaîne » , 
"maxLimit": « chaîne » , 
"maxLimitRequestRatio": « chaîne » 
} 
} 
}

Updates a cluster by its id

chemin Paramètres

clusterId

Obligatoire

corde

L’identifiant unique d’un cluster

Schéma du corps de la requête : application/json
Obligatoire

nom Obligatoire	corde
description	corde
	objet
étincelleStockage	corde Faire défaut: « S3 »
metastoreName	corde
	objet ( memorySettingsCreation)
defaultApplicationConfig	corde
type Obligatoire	corde Faire défaut: « K8S » K8S
URL Obligatoire	corde
caCert	corde
clientCert	corde
Clé cliente	corde
clientKeyAlgorithm	corde
clientKeyPassphrase	corde
nom d’utilisateur	corde
mot de passe	corde
	objet ( clusterResourceQuota)
	objet ( clusterLimitRange)

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

Exemple

K8S

{ « nom » : « chaîne » , 
« description » : « chaîne » , 
« stockages » : { « propriété1 » : { « sparkBucket » : « chaîne » , 
« seaude de données » : « chaîne » , 
"extraBuckets": [ « chaîne » 
] , 
« type » : « S3 » , 
« point final » : « chaîne » , 
"region": "us-east-1", 
« Clé d’accès » : « chaîne » , 
« Clé secrète » : « chaîne » 
} , 
« propriété2 » : { « sparkBucket » : « chaîne » , 
« seaude de données » : « chaîne » , 
"extraBuckets": [ « chaîne » 
] , 
« type » : « S3 » , 
« point final » : « chaîne » , 
"region": "us-east-1", 
« Clé d’accès » : « chaîne » , 
« Clé secrète » : « chaîne » 
} 
} , 
« sparkStorage » : « S3 » , 
"metastoreName": « chaîne » , 
"memorySettings": { "executors": « chaîne » , 
"driverCores": « chaîne » , 
"executorCores": « chaîne » , 
"driverMemory": « chaîne » , 
"executorMemory": « chaîne » , 
"dynamicAllocation": « faux » , 
"initialExecutors": « chaîne » , 
"minExecutors": « chaîne » , 
"maxExecutors": « chaîne » 
} , 
« defaultApplicationConfig » : « chaîne » , 
« type » : « K8S » , 
« Url » : « chaîne » , 
« caCert » : « chaîne » , 
« clientCert » : « chaîne » , 
« CléClient » : « chaîne » , 
« clientKeyAlgorithm » : « chaîne » , 
« clientKeyPassphrase » : « chaîne » , 
« nom d’utilisateur » : « chaîne » , 
« mot de passe » : « chaîne » , 
"resourceQuota": { "limitsPod": « chaîne » , 
"limitsCpu": « chaîne » , 
"limitsMemory": « chaîne » , 
"requestsCpu": « chaîne » , 
"requestsMemory": « chaîne » 
} , 
"limitRange": { "cpuLimitRange": { "defaultLimit": « chaîne » , 
"defaultRequest": « chaîne » , 
"minRequest": « chaîne » , 
"maxLimit": « chaîne » , 
"maxLimitRequestRatio": « chaîne » 
} , 
"memoryLimitRange": { "defaultLimit": « chaîne » , 
"defaultRequest": « chaîne » , 
"minRequest": « chaîne » , 
"maxLimit": « chaîne » , 
"maxLimitRequestRatio": « chaîne » 
} 
} 
}

Exemples de réponses

402
404
409

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Supprime un cluster par son id

chemin Paramètres

clusterId

Obligatoire

corde

L’identifiant unique d’un cluster

requête Paramètres

force

boolean

Faire défaut: faux

Force delete flag

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Renvoie les noms des clusters existants

Réponses

Exemples de réponses

200

Type de contenu

application/json

{ « noms » : [ « chaîne » 
] 
}

Creates a namespace for a cluster

Schéma du corps de la requête : application/json
Obligatoire

nom

Obligatoire

corde

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

{ « nom » : « chaîne » 
}

Exemples de réponses

402
409

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Licence

Renvoie l’état actuel de la licence

Réponses

Exemples de réponses

200

Type de contenu

application/json

{ « statut » : « VERT » , 
« expirer » : « chaîne » 
}

Attache la clé de licence

Schéma du corps de la requête : application/json
Obligatoire

clé

Obligatoire

corde

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

{ « clé » : « chaîne » 
}

Exemples de réponses

409

Type de contenu

application/json

{ « Message » : « chaîne » 
}

SQL

Returns information about SQL engines

chemin Paramètres

clusterId

Obligatoire

corde

L’identifiant unique d’un cluster

Réponses

Exemples de réponses

200
409

Type de contenu

application/json

[ { « Pièce d’identité » : « chaîne » , 
« type » : "SPARK_SQL", 
« État » : "RUNNING"
} 
]

Creates an SQL engine

chemin Paramètres

clusterId

Obligatoire

corde

L’identifiant unique d’un cluster

Schéma du corps de la requête : application/json

type	corde ( sqlEngineType) Faire défaut: "SPARK_SQL" Énumération : "SPARK_SQL" "TRINO"
async	boolean Faire défaut: faux If true, the request will return immediately, meaning that the engine may not be started yet
force	boolean Faire défaut: faux If true, when there is a starting engine, it will be stopped and a new one will be started

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

{ « type » : "SPARK_SQL", 
"async": faux , 
"force": faux 
}

Exemples de réponses

200
402
409

Type de contenu

application/json

{ « Pièce d’identité » : « chaîne » 
}

Shuts down an SQL engine by its id

chemin Paramètres

sqlEngineId

Obligatoire

corde

The unique identifier of a SQL engine

Réponses

Exemples de réponses

402
404
409

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Executes an SQL statement

Schéma du corps de la requête : application/json
Obligatoire

statement Obligatoire	corde
clusterId	corde
maxRows	entier < int64 > Faire défaut: 1000
engine	corde ( sqlEngineType) Faire défaut: "SPARK_SQL" Énumération : "SPARK_SQL" "TRINO"

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

{ "statement": « chaîne » , 
« clusterId » : « chaîne » , 
"maxRows": 1000 , 
"engine": "SPARK_SQL"
}

Exemples de réponses

200
402
409

Type de contenu

application/json

{ "info": { « État » : « chaîne » , 
"creationTime": 0 , 
« startTime » : 0 , 
"completionTime": 0 , 
"exception": « chaîne » 
} , 
"columns": [ { « nom » : « chaîne » , 
« type » : « chaîne » , 
"index": 0 , 
"precision": 0 , 
« échelle » : 0 , 
"comment": « chaîne » 
} 
] , 
"rows": [ [ { } 
] 
] , 
"logs": [ « chaîne » 
] 
}

Returns paginated list of saved SQL statements

requête Paramètres

page	entier Faire défaut: 0 Le numéro de page à retourner
taille	entier Faire défaut: 10 La taille de la page à renvoyer
trier	Tableau de Cordes Exemple: sort=nom,asc Les règles de tri à appliquer pour définir l’ordre de pagination
rechercher	corde Le mot à appliquer pour le filtrage

Réponses

Exemples de réponses

200
409

Type de contenu

application/json

{ « page » : { « numéro » : 0 , 
« taille » : 0 , 
« décalage » : 0 , 
« paginé » : vrai 
} , 
« trier » : [ « chaîne » 
] , 
« totalElements » : 0 , 
« totalPages » : 0 , 
« premier » : vrai , 
« Dernier » : vrai , 
« vide » : vrai , 
« contenu » : [ { « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
"statement": « chaîne » , 
"engine": "SPARK_SQL", 
"maxRows": 0 
} 
] 
}

Saves an SQL statement

Schéma du corps de la requête : application/json
Obligatoire

nom Obligatoire	corde
statement Obligatoire	corde
engine	corde ( sqlEngineType) Faire défaut: "SPARK_SQL" Énumération : "SPARK_SQL" "TRINO"
maxRows	entier < int64 >

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

{ « nom » : « chaîne » , 
"statement": « chaîne » , 
"engine": "SPARK_SQL", 
"maxRows": 0 
}

Exemples de réponses

200
402
409

Type de contenu

application/json

{ « Pièce d’identité » : « chaîne » 
}

Returns a saved SQL statement found by its id

chemin Paramètres

sqlSavedId

Obligatoire

corde

The unique identifier of a saved SQL statement

Réponses

Exemples de réponses

200
404

Type de contenu

application/json

{ « nom » : « chaîne » , 
"statement": « chaîne » , 
"engine": "SPARK_SQL", 
"maxRows": 0 
}

Updates a saved SQL statement found by its id

chemin Paramètres

sqlSavedId

Obligatoire

corde

The unique identifier of a saved SQL statement

Schéma du corps de la requête : application/json
Obligatoire

nom Obligatoire	corde
statement Obligatoire	corde
engine	corde ( sqlEngineType) Faire défaut: "SPARK_SQL" Énumération : "SPARK_SQL" "TRINO"
maxRows	entier < int64 >

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

{ « nom » : « chaîne » , 
"statement": « chaîne » , 
"engine": "SPARK_SQL", 
"maxRows": 0 
}

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Deletes a saved SQL statement found by its id

chemin Paramètres

sqlSavedId

Obligatoire

corde

The unique identifier of a saved SQL statement

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Returns a page of SQL notebooks

requête Paramètres

page	entier Faire défaut: 0 Le numéro de page à retourner
taille	entier Faire défaut: 10 La taille de la page à renvoyer
trier	Tableau de Cordes Exemple: sort=nom,asc Les règles de tri à appliquer pour définir l’ordre de pagination
rechercher	corde Le mot à appliquer pour le filtrage

Réponses

Exemples de réponses

200
409

Type de contenu

application/json

{ « page » : { « numéro » : 0 , 
« taille » : 0 , 
« décalage » : 0 , 
« paginé » : vrai 
} , 
« trier » : [ « chaîne » 
] , 
« totalElements » : 0 , 
« totalPages » : 0 , 
« premier » : vrai , 
« Dernier » : vrai , 
« vide » : vrai , 
« contenu » : [ { « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
"statements": [ { « Pièce d’identité » : « chaîne » , 
« langue » : "SQL", 
"code": « chaîne » 
} 
] 
} 
] 
}

Creates an SQL notebook

Schéma du corps de la requête : application/json
Obligatoire

nom	corde
	Tableau de objects( sqlNotebookCell)

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

{ « nom » : « chaîne » , 
"statements": [ { « Pièce d’identité » : « chaîne » , 
« langue » : "SQL", 
"code": « chaîne » 
} 
] 
}

Exemples de réponses

200
402
409

Type de contenu

application/json

{ « Pièce d’identité » : « chaîne » 
}

Returns an SQL notebook found by its id

chemin Paramètres

sqlNotebookId

Obligatoire

corde

The unique identifier of an SQL notebook

Réponses

Exemples de réponses

200
404

Type de contenu

application/json

{ « Pièce d’identité » : « chaîne » , 
« nom » : « chaîne » , 
"statements": [ { « Pièce d’identité » : « chaîne » , 
« langue » : "SQL", 
"code": « chaîne » 
} 
] 
}

Updates an SQL notebook found by its id

chemin Paramètres

sqlNotebookId

Obligatoire

corde

The unique identifier of an SQL notebook

Schéma du corps de la requête : application/json
Obligatoire

nom	corde
	Tableau de objects( sqlNotebookCell)

Réponses

Demander des échantillons

Charge utile

Type de contenu

application/json

{ « nom » : « chaîne » , 
"statements": [ { « Pièce d’identité » : « chaîne » , 
« langue » : "SQL", 
"code": « chaîne » 
} 
] 
}

Exemples de réponses

402
404
409

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Deletes an SQL notebook found by its id

chemin Paramètres

sqlNotebookId

Obligatoire

corde

The unique identifier of an SQL notebook

Réponses

Exemples de réponses

402
404

Type de contenu

application/json

{ « Message » : « chaîne » 
}

Ilum API ( 1.5.3)

Groupe

Renvoie une page de groupes existants

requête Paramètres

Réponses

Exemples de réponses

Crée un groupe de travaux Spark interactifs

Schéma du corps de la requête : multipart/form-data Obligatoire

Réponses

Exemples de réponses

Renvoie un groupe trouvé par son id

chemin Paramètres

Réponses

Exemples de réponses

Supprime un groupe par son id

chemin Paramètres

Réponses

Exemples de réponses

Updates a group by its id

chemin Paramètres

Schéma du corps de la requête : multipart/form-data Obligatoire

Réponses

Exemples de réponses

Exécute un travail Spark interactif au sein du groupe choisi

chemin Paramètres

Schéma du corps de la requête : application/json Obligatoire

Réponses

Demander des échantillons

Exemples de réponses

Renvoie une page des résultats d’instance de travail de groupe existante

chemin Paramètres

requête Paramètres

Réponses

Exemples de réponses

Envoie une tâche Spark interactive au sein du groupe choisi

chemin Paramètres

Schéma du corps de la requête : application/json Obligatoire

Réponses

Demander des échantillons

Exemples de réponses

Modifie le nombre de travaux Spark interactifs utilisés par le groupe choisi

chemin Paramètres

Réponses

Exemples de réponses

Restarts a chosen group

chemin Paramètres

Réponses

Exemples de réponses

Pauses a chosen group

chemin Paramètres

Réponses

Exemples de réponses

Resumes a chosen group

chemin Paramètres

Réponses

Exemples de réponses

Arrête un groupe choisi et le met à l’état ARCHIVÉ

chemin Paramètres

Réponses

Exemples de réponses

Renvoie un flux de modifications interactives des résultats de la tâche Spark

requête Paramètres

Réponses

Renvoie un groupe trouvé par son nom

chemin Paramètres

Réponses

Exemples de réponses

Horaire

Returns a page of existing schedules

requête Paramètres

Réponses

Exemples de réponses

Creates a schedule of single Spark jobs

Schéma du corps de la requête : multipart/form-data Obligatoire

Réponses

Exemples de réponses

Returns a schedule found by its id

chemin Paramètres

Réponses

Exemples de réponses

Schéma du corps de la requête : multipart/form-data
Obligatoire

Schéma du corps de la requête : multipart/form-data
Obligatoire

Schéma du corps de la requête : application/json
Obligatoire

Schéma du corps de la requête : application/json
Obligatoire

Schéma du corps de la requête : multipart/form-data
Obligatoire

Schéma du corps de la requête : multipart/form-data
Obligatoire

Schéma du corps de la requête : multipart/form-data
Obligatoire

Schéma du corps de la requête : application/json
Obligatoire