L’Identity and Access Management (IAM) est devenu un composant central de toute architecture moderne. Authentification, gestion des utilisateurs, contrôle des accès, conformité réglementaire : ces briques sont critiques, mais leur mise en œuvre et leur exploitation restent souvent complexes dans la durée.

C’est pour répondre à ces enjeux que Clever Cloud a lancé l'IAM Keycloak as a Service au printemps 2025, en partenariat avec Please Open It, société spécialisée dans l’intégration et l’expertise autour de Keycloak. Cette collaboration a permis de concevoir un service managé, aligné à la fois sur les bonnes pratiques de l’open source et sur les contraintes réelles des environnements de production.

Depuis son lancement, Keycloak as a Service a connu de nombreuses évolutions pour répondre aux usages concrets des entreprises et aux exigences d’un IAM opéré à grande échelle.

Un Keycloak managé, pensé pour la production

Keycloak as a Service repose sur une approche simple : offrir toute la richesse fonctionnelle de Keycloak, sans demander aux équipes de gérer l’infrastructure, la maintenance ou la supervision.

Le service est intégré nativement à la Console Clever Cloud. Il devient ainsi une brique à part entière de la plateforme, pilotable depuis un point unique, au même titre que les autres services managés.

Secured Multi Instances : haute disponibilité et montée en charge

Parmi les évolutions majeures figure le Secured Multi Instances. Il permet de déployer Keycloak en mode clusterisé, avec plusieurs nœuds, afin d’assurer la répartition de charge et la haute disponibilité d’un composant critique comme l’IAM.

Cette architecture renforce la continuité de service et la capacité à absorber la montée en charge, tout en répondant aux exigences attendues en production. La configuration et le pilotage de cette architecture sont accessibles directement depuis la Console Clever Cloud.

Un dashboard dédié dans la Console

Un dashboard Keycloak est désormais disponible dans la Console Clever Cloud. Il centralise les informations essentielles du service ainsi que les actions d’administration courantes, afin de simplifier le pilotage au quotidien et d’éviter la multiplication des outils.

Monitoring intégré et inclus

Le monitoring est intégré nativement au service. La visibilité opérationnelle est immédiatement disponible, sans configuration supplémentaire ni déploiement d’outils externes.

Cette approche intégrée permet de simplifier l’exploitation tout en conservant un haut niveau de maîtrise sur le fonctionnement de l’IAM.

Maintenance continue et mises à jour

Keycloak managé est maintenu à jour par les équipes Clever Cloud. Les versions récentes de Keycloak sont mises à disposition au fil des évolutions du produit, sans charge opérationnelle côté client.

Cela permet de bénéficier des correctifs de sécurité et des évolutions fonctionnelles, sans projets de montée de version lourds ou risqués.

L’ajout simplifié à vos applications

Enfin, une évolution plus structurelle concerne Request Flow, un socle technique qui facilite l’utilisation d’outils afin de protéger l’accès à vos applications, dont OAuth2-Proxy. 

Ce dernier est compatible avec Keycloak, sa configuration est simplifiée sur Clever Cloud, ce qui permet de mettre en place une identification en amont de l’application, sans modification du code applicatif. Il est particulièrement adapté pour sécuriser des applications existantes, des back-offices, des outils internes ou des services exposés

Pour aller plus loin

Pour présenter ces évolutions en détail, partager les choix techniques et répondre aux questions, un live Twitch et Youtube est prévu le 26 février à 13h. Il sera animé par Horacio Gonzalez (Clever Cloud), avec Mathieu Passenaud (Please Open It). L’occasion d’entrer concrètement dans le fonctionnement de notre Keycloak managé et d’échanger autour des usages IAM en production.

Ils “poussent” leur code, nous le déployons, tout en assurant la mise à jour et la mise en sécurité de l’environnement dans lequel ils fonctionnent avec un objectif : le maintien en conditions opérationnelles. Quelle que soit la situation, leur service répond.

Penser des services simples, robustes et innovants

Nous le faisons en garantissant une empreinte minimale au sein de nos serveurs, en proposant une mise à l’échelle horizontale/verticale à la demande ou automatique. Nous pouvons ainsi multiplier les instances ou les faire grossir/réduire selon la charge de vos sites. Cette volonté de simplicité va au-delà des applications, puisque nous disposons également d’une large offre de base de données (BDD) “as-a-service” vous permettant de déployer en quelques secondes des environnements MongoDB, MySQL, PostgreSQL ou Redis, avec les mêmes outils et garanties.

Ces dernières années, nous faisions néanmoins face à des demandes récurrentes : outre la volonté de certains de nos clients d’avoir accès à d’autres solutions, ils nous demandaient régulièrement de disposer des avantages de notre infrastructure répartie sur trois datacenters afin d’obtenir des services à haute disponibilité. Mais dans le domaine des BDD, cela n'est pas toujours simple à mettre en place tout en assurant un bon niveau d’automatisation et la cohérence des données. Nous avons donc décidé de développer notre propre gamme de produits pour y parvenir.

Le projet “Materia” était né, reposant sur le moteur transactionnel open source FoundationDB, utilisé, par exemple, par Apple pour ses services iCloud ainsi que par Snowflake. Nous y contribuons et l’adaptons à nos besoins, tout en profitant de son aspect distribué et résilient, notamment du fait de son importante capacité de simulation. Il nous permet d’imaginer un univers entier de solutions serverless, très simples d’usage, facturées à l'usage, avec des couches de comptabilité que nous développons pour permettre à nos clients de lui “parler” en utilisant des protocoles existants  tels que GraphQL ou PostgreSQL par exemple.

Materia KV accessible à tous

Nous avons commencé par le protocole Redis, afin de mettre en place Materia KV, actuellement en phase de test Alpha. Il s’agit d’une base de données clé-valeur répliquée de manière synchrone sur nos trois datacenters parisiens. Lorsque nos serveurs vous répondent, c’est que votre donnée à été écrite trois fois. Surtout, elle est très simple d’usage : rendez-vous dans notre Console, créez un add-on Materia KV, vous obtiendrez instantanément un jeton (token) utilisable avec n’importe quel client Redis ou même en envoyant des commandes à nos serveurs directement via le protocole TCP.

Ainsi, vous pouvez dès maintenant bénéficier d’une solution pour stocker vos données sous la forme de clé-valeur, en haute disponibilité, sans avoir la moindre instance à configurer, sans tarification minimale mensuelle : vous payerez simplement ce que vous consommez. Surtout, nous assurons ce service en compatibilité avec des protocoles existants. Aujourd’hui Redis, demain GraphQL. La liste des commandes supportées est disponibleici.

Lancée à Devoxx France mi-avril, Materia KV a fait forte impression sur place et lors de nos démonstrations depuis. Nous avons donc décidé de la rendre accessible à tous afin de permettre à l’ensemble de nos clients et des curieux de nous faire part de leurs retours sur son fonctionnement et de leurs besoins. Si la facturation se fera à l’usage à partir de la phase de Beta, pour le moment, c’est gratuit ! N’hésitez pas à tester et à nous donner votre avis.

Déjà intégré à nos outils et interfaces

Materia KV est bien entendu accessible via un addon-provider au sein de notre API, Terraform (ou OpenTofu par exemple), mais aussi de notre CLI, les Clever Tools. Pour créer un jeton d’accès il suffit de lancer la commande suivante :

clever addon create kv NAME

Cet add-on pourra être lié directement à une application Clever Cloud où ses variables d’environnement seront injectées. Mais vous pouvez également l’utiliser depuis n’importe quel service tiers, un client en ligne de commande (CLI) ou avec interface graphique (GUI).

Alors que le développement de Materia KV et de ses différentes interfaces va se faire sur la durée, nous avons commencé à réfléchir à son intégration au sein des Clever Tools. Ainsi, une branche de test, disponible sous la forme de binaires et documentée, propose une commande clever kv.

Avec elle, vous pouvez directement envoyer des requêtes à Materia KV en ayant la variable d’environnement configurée localement, ou en indiquant un ID dans vos commandes :

# With Bash and Zsh
source <(clever addon env ADDON_ID --export)
# With Fish
clever addon env ADDON_ID --export | source

clever kv PING # PONG
clever kv set yourKey theValue
clever kv get yourKey

Comme cette version de démonstration ne gère pas l’ensemble des commandes gérées par Materia KV, vous pouvez lui envoyer une commande “brute”, elle vous renverra alors la réponse :

clever kv redis_raw 'hset key field1 value1 field2 value2' # 2
clever kv redis_raw 'hget key field2'                      # value2
clever kv redis_raw 'hgetall key'                          # the full hash

Pour démontrer les possibilités d’une telle intégration, vous avez également la possibilité de faire directement des requêtes sur un objet JSON stocké dans une clé :

clever kv set simpleJson '{"key": "value"}' # the set data
clever kv getJson simpleJson key            # value
clever kv set jsonKey '[{"key": "value"}, {"bigKey": {"subKey1": "subValue1","subKey2": "subValue2"}}]'
clever kv getjson jsonKey bigKey.subKey2    # subValue1
clever kv getjson jsonKey ''                # the full JSON

Pour montrer à quel point de telles intégrations sont simples, nous avons mis à votre disposition un client Materia KV écrit en Go en utilisant Go-Redis. Si vous souhaitez plutôt comprendre comment vous pouvez envoyer des commandes et recevoir des réponses de Materia KV directement en TCP, vous trouverez des exemples, en V ou en Ruby.

N’hésitez pas à proposer les vôtres et à nous le faire savoir ;)

Une démonstration sur Twitch de Materia KV, un espace communautaire

Envie d’en savoir plus ? Horacio González, notre DevRel en chef, fera une démonstration sur Twitch mardi 18 juin à 13h15. Pierre Zemb, créateur de Materia chez Clever Cloud, échangera également avec notre CTO Steven Le Roux dans une vidéo publiée fin juin sur la chaîne YouTube de Clever Cloud.

Et pour nous faire part de votre avis, de vos questions et de vos besoins, rendez-vous sur la section dédiée à Materia de notre espace communautaire GitHub.

Clever Functions : WASM au service de la compatibilité et de l’efficacité

Pour cela, nous n’avons pas hésité à créer notre propre couche de virtualisation et d’exécution de fonctions, bas niveau. En effet, nous voulions maintenir nos critères forts d’isolation avec la mise en place de machines virtuelles que nous activons au plus près du CPU. Nous voulions également pouvoir obtenir de bonnes performances tout en nous ouvrant à de nombreux langages, plutôt que de nous contenter de nous reposer sur v8 au risque de nous focaliser presque exclusivement sur JavaScript.

Ainsi, nous avons plutôt opté pour une solution exploitant les possibilités du standard WebAssembly (WASM/WASI), qui peut être utilisé avec de nombreux langages, de Go à Zig en passant par C, Rust ou encore AssemblyScript… et bien entendu JavaScript.

Après une première démonstration réussie de notre Tech Preview à Barcelone à l’occasion de la conférence WASM.io le mois dernier, nous effectuerons de nouvelles démonstration à l’occasion de Devoxx Paris, qui se tient au Palais des congrès du 17 au 19 avril prochain. N’hésitez pas à venir nous en parler et à nous faire connaître votre intérêt pour participer aux prochaines étapes du développement de ce produit, qui sera progressivement ouvert au fil de l’année.

MateriaDB KV : notre révolution distribuée, multi-protocoles, serverless

Autre sujet d’innovation majeur par notre équipe : notre nouvelle offre Materia. Pour cela nous avons conçu nos propres bases de données serverless, reposant sur le moteur transactionnel open source FoundationDB, utilisé, par exemple, par Apple pour ses services iCloud. Nous sommes également  un membre actif de sa communauté, participant au développement de son écosystème. 

Distribuée et robuste, notamment du fait de son importante capacité de simulation, elle nous a permis d’imaginer et de construire toute une gamme de services répondant aux différents besoins exprimés ces dernières années par nos clients. Ce, avec une approche toujours ouverte et résiliente, un déploiement sur plusieurs zones de disponibilité, une compatibilité avec des protocoles et clients existants, une facturation à l’usage.

La première à voir le jour publiquement est Materia KV, qui, comme son nom l’indique, est une base de données de type clé-valeur (key value). Pour en créer au sein de votre compte Clever Cloud, vous n’avez pas de taille d’instance à choisir, de capacité de stockage à anticiper. Nous vous fournissons simplement l’adresse d’un serveur, un port et un token (reposant sur la technologie Biscuit à laquelle nous contribuons activement), c’est prêt à l’emploi !

Vous pouvez ensuite nous envoyer vos clés et leur contenu. Elles seront répliquées de manière synchrone au sein de nos trois datacenters parisiens. Vous n’avez ainsi plus à mettre en place de configuration complexe pour assurer la haute disponibilité ou même d’option à activer. Materia KV est résiliente “by design” ! Et elle s’adapte aux besoins de chacun, puisque sa facturation se fait à l’usage. Ainsi, simples bidouilleurs, développeurs aguerris et grands comptes s’y retrouvent.

Une compatibilité avec l'API Redis… pour commencer

Nous ne voulions pas que cette innovation vous soit proposée au prix d’une complexité de configuration, nécessitant d’utiliser des clients et des ORM particuliers. Ainsi, nous avons développé au sein de Materia KV ses propres couches de compatibilité.

Pour lui “parler”, vous n’avez pas besoin d’une API particulière ou d’outils propres à Clever Cloud. Vous pouvez l’utiliser avec des solutions existantes pour GraphQL ou encore Redis. Cette dernière inaugure d’ailleurs les couches de compatibilité disponibles dans le cadre de notre phase de test. Elle permet à des clients utilisant une instance Redis pour leur application de migrer vers Materia KV en quelques clics seulement dans leur interface ou via les Clever Tools.

Cette solution sera en démonstration publique pour la première fois à l’occasion de Devoxx Paris, qui se tient au Palais des congrès du 17 au 19 avril prochain. Elle sera ensuite rapidement accessible à tous nos clients en alpha. N’hésitez pas à venir nous en parler et à échanger sur les autres services Materia qui seront proposés dans le courant de l’année.

Nous ferons également la démonstration d’autres nouveautés à venir comme notre solution Keycloak-as-a-Service en partenariat avec Please Open It, et fêteront la mise en ligne de la version 1.0 de notre load balancer maison et open source, développé en Rust: SŌZU !

L'occasion aussi de découvrir nos t-shirts, qui seront présents en grand nombres.

Pour connaître nos évolutions régulières, pensez à suivre notre Changelog (via son flux RSS), ou ce blog. Mais également à nous suivre sur LinkedIn ou X/Twitter.

Lorsque vous déployez une application chez Clever Cloud, elle n’est pas simplement mise en ligne et maintenue en conditions opérationnelles. Nous la livrons également avec de nombreux services et des fonctionnalités dédiées à l'optimisation de votre log management, tout au long du cycle de vie de votre application.

Parmi elles, notre stack de logs que nous avons fait évoluer l’année dernière. Elle se repose désormais sur Vector pour son émission, Apache Pulsar pour son ingestion et sa consommation, tout en assurant une isolation entre chaque utilisateur (multi-tenant) et chaque application. Nous avions fait ces choix car la solution précédente avait montré ses limites et nous empêchait de livrer certaines améliorations. Notre objectif était d’améliorer l’expérience de nos utilisateurs à de nombreux niveaux.

Une nouvelle expérience de log management chez Clever Cloud

Dès sa mise en place depuis quelques mois, nous l'utilisons avec succès au sein de notre interface en ligne de commande (CLI), Clever Tools. Vous pouvez y retrouver vos logs en direct, mais aussi télécharger ceux d’une fenêtre de temps précise ou même effectuer un filtrage, avec un résultat pouvant être obtenu dans différents formats. La documentation est ici. Bien entendu, cette fonctionnalité repose sur notre APIv4, elle aussi documentée, par là.

L’étape suivante était l’intégration de cette nouvelle brique technique à la Console. C’était pour nous l’occasion de repenser la section dédiée aux logs afin qu’elle exploite nos Web Components et réponde à nos critères en termes de praticité, de fonctionnalités et d’accessibilité. Notre équipe a donc passé plusieurs mois à la repenser de fond en comble.

Après une phase de tests internes, elle est désormais accessible en bêta à l’ensemble de nos clients. Ils peuvent ainsi la choisir en cliquant sur un simple lien dans l’interface et revenir à l’ancienne quand ils le souhaitent. Notre objectif est d’améliorer de manière continue cette section, puis de l’étendre progressivement à l’ensemble de nos services. Pour partager votre avis, nous avons créé un espace communautaire sur GitHub pour l’occasion:

• Accéder à la Console Clever Cloud
• Donnez votre avis sur notre nouvelle interface de logs

Une multitude de détails…

L’interface précédente vous permettait de naviguer dans vos derniers déploiements et leurs différentes instances une à une. La nouvelle va plus loin puisqu’elle liste par défaut l’ensemble des déploiements et instances d’une application sur les 7 derniers jours. Les logs du dernier déploiement en date seront chargés, mais vous pourrez également ajouter ou retirer ceux de l’instance de votre choix. Chaque déploiement est identifié par le hash du commit du code qui lui est lié, les instances sont numérotées (en cas de scalabilité horizontale).

Vous pouvez réduire la fenêtre de temps à quelques jours ou quelques heures, ou même indiquer manuellement les heures de début et de fin, ce qui est pratique lorsque vous souhaitez une information précise, pour la recherche d’un bug par exemple. Sur cette nouvelle interface de logs, vous disposez également d’un filtre textuel au-dessus de la zone principale. Il évoluera avec la mise en place d’un système d’indexation qui nous ouvrira de nouvelles possibilités en la matière.

Bien entendu, vous pouvez également suivre la publication de vos logs en direct. Ce sera d’ailleurs la section affichée par défaut lorsqu’un déploiement est en cours.

… et de fonctionnalités

La zone principale vous permet une sélection d’une ou plusieurs lignes au clavier et à la souris via la gouttière située à sa gauche, avec la possibilité de copier le résultat dans le presse-papiers tout aussi simplement d’un simple CTRL+C/Cmd+C. En haut à droite vous trouverez un bouton pour mettre la zone en plein écran, un autre pour retourner en bas de vos logs et une zone de paramètres.

Ce panneau n'en est qu'à ses début, mais se veut déjà assez complet et utilise notre nouvelle API de gestion des réglages utilisateur. Elle vous permet de choisir entre différents thèmes clairs/sombres, de retirer les couleurs et codes ANSI, de passer ou non à la ligne, de définir un format pour la date et l’heure, de choisir s’il faut l’afficher sur votre fuseau horaire ou en UTC, distinguer les instances par leur nom, etc. Cela peut bien entendu évoluer, n’hésitez pas à faire des propositions.

Nous évoquerons les futures améliorations au sein de notre Changelog (via son flux RSS), ou sur ce blog pour les prochaines grandes étapes d’ici la disponibilité générale. Pensez également à nous suivre sur LinkedIn ou X/Twitter pour vous tenir informés.

En 2022, Clever Cloud a plus que doublé ses effectifs afin d’améliorer ses services et en développer de nouveaux avec le renfort de son pôle R&D. Nous voulions aussi prendre plus le temps de peaufiner ce qui fait le quotidien de nos clients : la Console.

Il s’agit de l’interface web qu’ils utilisent pour gérer et déployer leurs applications et add-ons, accéder à leurs métriques, logs, etc. Elle est développée par notre équipe en charge du front-end, dirigée par Hubert Sablonnière, qui a récemment accueilli 4 nouveaux membres.

Depuis, ils travaillent à une meilleure cohérence des éléments qui composent la Console, en mettant l’accent tant sur l’expérience utilisateur que l’accessibilité. Des travaux de fond ont également été entrepris : amélioration générale du code, des procédures de tests et de déploiement, refonte du système de notifications, de gestion des icônes, la génération de la documentation des Clever Components ou même la clarification de certains tarifs. 

Clés SSH : une interface plus utile et plus claire 

Il y a quelques semaines, nous avons également mis en place un nouveau formulaire de gestion des clés SSH, utilisant les Clever Components pour une accessibilité renforcée et une adaptation à tous les écrans. Il est surtout plus clair, notamment avec des aides contextuelles, des messages d’erreur plus explicites, une meilleure gestion du focus, etc. 

On y trouve désormais trois sections : une pour l'ajout d'une nouvelle clé, une seconde listant les clés existantes, que l’on peut supprimer, et enfin celle servant à l’import des clés GitHub. Dans chaque cas, les commandes de bases vous sont expliquées :

Gestion simplifiée des e-mails et des membres 

Nous avons procédé de la même manière avec la gestion des e-mails et des membres d’une organisation. Là aussi les éléments de base ont été revus pour utiliser nos composants et mieux s’adapter à différents formats d’appareils avec une meilleure accessibilité. 

Mais nous avons surtout veillé à ce que des éléments utiles soient présentés de manière claire. Ainsi les e-mails primaires et secondaires d’un compte sont distingués, avec une mention en cas de vérification et la possibilité de changer de statut à tout moment :

Dans le cas de la gestion d’une organisation, une segmentation en trois zones a été mise en place : l’une pour inviter des membres, la seconde pour lister ceux qui sont présents et leurs rôle, ainsi que leur gestion (modification, suppression) et enfin une dernière permettant de quitter une organisation, identifiée comme une “zone de danger”. 

Ici aussi un travail de fond a été mené sur les messages et informations apportées, notamment pour mieux permettre l’identification de membres n’ayant pas activé la double authentification sur leur compte (2FA), un filtre spécifique vous étant proposé :

Ces améliorations ne sont que le début du travail sur la Console, qui va perdurer tout au long de 2023, avec une feuille de route déjà bien entamée et de gros projets sur le point d’aboutir. Bonne nouvelle d’ailleurs : la nouvelle interface de logs est en cours de finalisation, nous vous en reparlerons très bientôt ;)

Keycloak est un moyen moderne et efficace de gérer les identités et les accès. Il permet l'authentification unique, la fédération d'utilisateurs à travers plusieurs annuaires d'utilisateurs. Il est également compatible avec les protocoles d'authentification standard comme OpenID Connect, OAuth2 ou SAML. Tous les détails sont disponibles sur son site. Dans ce blogpost, nous verrons les étapes du déploiement de Keycloack et Grafana sur Clever Cloud.

Comment déployer Keycloak ?

Setup

Keycloak est écrit en Java, et fournit un fichier JAR dans sa version, ce qui signifie que nous allons utiliser un runtime JAVA avec un déploiement JAR. Il nécessite également une base de données PostgreSQL, ce qui signifie que nous allons déployer un addon PostgreSQL.

# Get lastest Keycloak release
wget https://github.com/keycloak/keycloak/releases/download/17.0.1/keycloak-17.0.1.zip

# Extract the archive
unzip keycloak-17.0.1.zip

# Go to the folder
cd keycloak-17.0.1

# Create the jar application
clever create --type jar keycloak-server
export KEYCLOAK_DOMAIN=$(clever domain | xargs)

# Create the PG addon
clever addon create postgresql-addon --plan s_sml --addon-version 10 keycloak-postgres

# Link the addon
clever service link-addon keycloak-postgres

Configurer

Pour l'instant, nous allons configurer Keycloak en utilisant des variables d'environnement. Notez que vous pouvez également configurer Keycloak via son CLI ou via un fichier, comme indiqué dans sa documentation.

Note : Pour la configuration via des variables d'environnement, le modèle à utiliser est KC_ et le nom en majuscule de toute clé de configuration, séparés par des caractères de soulignement.

# Export env for templating purpose
export $(clever env | sed '/^#/d;s/\"//g')

clever env set CC_JAR_PATH lib/quarkus-run.jar
clever env set CC_JAVA_VERSION 11
clever env set CC_RUN_COMMAND "bin/kc.sh start --auto-build"

clever env set KC_DB postgres
clever env set KC_DB_USERNAME $POSTGRESQL_ADDON_USER
clever env set KC_DB_PASSWORD $POSTGRESQL_ADDON_PASSWORD
clever env set KC_DB_URL "jdbc:postgresql://$POSTGRESQL_ADDON_HOST:$POSTGRESQL_ADDON_PORT/$POSTGRESQL_ADDON_DB"
clever env set KC_HOSTNAME $KEYCLOAK_DOMAIN
clever env set KC_HTTP_ENABLED true
clever env set KC_PROXY passthrough
clever env set KC_PROXY_ADDRESS_FORWARDING true

Note: Envisagez de configurer KC_DB_POOL_MAX_SIZE (Le nombre maximum de connections parallèles a la base de donnée) avec une valeur basse (la valeur par défault est de 100) en fonction de la taille de la base de donnée que vous avez commandé plus tôt. Vous pouvez trouver les limites de connection par taille de base de donnée ici. Si vous avez choisi la taille S_SML comme précisé plus tôt dans la commande fournie, vous pouvez ignorer ce message. vous pouvez aussi configurer plus finement le groupe de connection a la base de donnée en utilisant les variable DB_POOL_INITIAL_SIZE et KC_DB_POOL_MIN_SIZE

Vous devez maintenant définir KEYCLOAK_ADMIN et KEYCLOAK_ADMIN_PASSWORD :

clever env set KEYCLOAK_ADMIN <choose an admin username>
clever env set KEYCLOAK_ADMIN_PASSWORD <choose an admin password>

Déployer

Déployer Keycloak sur Clever Cloud :

# Init a git repository
git init

# Add your files
git add .

# Create the first commit
git commit -m "clever init"

# Deploy the application
clever deploy

# Open Keycloak in your browser
clever open

Valider la configuration

Vous pouvez suivre la documentation de Keycloak en commençant ici pour vous assurer que Keycloak fonctionne comme prévu. Elle vous guidera à travers la création d'un realm (tenant), la création d'un utilisateur et la création/test d'un client.

Créer une configuration initiale de Keycloak

Dans l'interface utilisateur de Keycloak, assurez-vous de créer un realm appelé "myrealm" (survolez "Master" dans le coin supérieur gauche). Assurez-vous que le realm "myrealm" est sélectionné.

Ensuite, allez dans Utilisateurs > Ajouter un utilisateur. Remplissez les champs Nom d'utilisateur, Email, Prénom et Nom de famille, puis cliquez sur Enregistrer.

Dans l'onglet "credentials" de l'utilisateur, ajoutez le mot de passe de votre choix et désélectionnez "Temporary", le mot de passe défini.

C'est fait !

Un scénario du monde réel

Voyons comment nous pouvons utiliser Keycloak dans le monde réel : comme proxy SSO pour Grafana, en utilisant Oauth 2.

Configurer Grafana sur Clever Cloud

Si vous avez besoin d'un guide détaillé sur la façon d'utiliser ou de déployer Grafana, veuillez lire cet article.

Utilisons l'exemple Grafana sur le dépôt Github de Clever Cloud.

# Clone the repository
git clone https://github.com/CleverCloud/grafana-example.git

# Enter the directory
cd grafana-example

# Create a NodeJS Application
clever create --type node grafana
export GRAFANA_DOMAIN=$(clever domain | xargs)

# Configure Grafana
clever env set GRAFANA_VERSION 8.5.2
clever env set GRAFANA_PLUGINS "grafana-worldmap-panel"
clever env set GF_PLUGIN_DIR ./data/plugins

clever env set GF_SERVER_HTTP_PORT 8080
clever env set GF_SERVER_ROOT_URL "https://$GRAFANA_DOMAIN"

Note : Dans cette section, vous devez définir vous-même la variable GRAFANA_SHA_256. Vous pouvez trouver la SHA256SUM nécessaire ici, à côté de "Standalone Linux Binaries".

clever env set GRAFANA_SHA_256 <SHA256SUM>

Configurer Keycloak pour OAuth 2

Note : dans cette section, vous devez remplacer $GRAFANA_DOMAIN par la valeur que vous avez exportée dans la dernière section. Vous pouvez trouver cette valeur en exécutant la commande suivante : clever domain.

Dans l'interface utilisateur de Keyloak, allez dans Configurer > Clients > Créer.

Créez un nouveau client avec ces configurations :

Client ID: $GRAFANA_DOMAIN
Client Protocol: openid-connect
Root URL: https://$GRAFANA_DOMAIN

Effectuez ensuite ces configurations :

Access Type: confidentials // The OAuth client must use a client id and secret.
Root URL: ${authBaseUrl}
Valid Redirect URIs: https://$GRAFANA_DOMAIN/login/generic_oauth
Base URL: /login/generic_oauth

Effacez Admin URL et Web Origins.

Cliquez sur enregistrer et ouvrez l'onglet Credentials. Copiez le secret dans une note séparée, nous en aurons besoin dans les deuxième et troisième parties de ce tutoriel.

Ouvrez l'onglet Rôles et cliquez sur Ajouter un rôle. Créez un nouveau rôle avec le nom admin. Ce rôle définit le niveau d'accès pour Grafana.

Allez sur l'onglet Scope et définissez Full Scope Allowed sur OFF. Nous ne voulons pas partager d'autres détails sur le royaume dans le jeton client.

Ensuite, nous allons configurer un mappeur client pour la propriété roles. Nous devons nous assurer que Grafana peut extraire le rôle d'accès à partir du jeton JWT. Ouvrez l'onglet Mappers et cliquez sur Create. Créez une entrée avec ces options :

 
Nom : Roles
Mapper Type : Rôle client utilisateur
ID du client : $GRAFANA_DOMAIN
Nom de la réclamation token : roles
Type JSON de la réclamation : string

Enfin, attribuez le rôle client à votre utilisateur Keycloak : Allez dans Utilisateurs > Afficher tous les utilisateurs et cliquez sur l'ID de votre utilisateur. Cliquez sur l'onglet Role Mapping, puis dans le sélecteur Client Roles, sélectionnez $GRAFANA_DOMAIN. Dans la section Available Roles, sélectionnez admin et cliquez sur Add selected.

Configurer Grafana pour OAuth 2

Configurez les variables d'environnement appropriées

# Configure appropriate env vars
clever env set GF_SERVER_DOMAIN $GRAFANA_DOMAIN
clever env set GF_SERVER_ROOT_URL "https://$GRAFANA_DOMAIN"
clever env set GF_AUTH_GENERIC_OAUTH_ENABLED true
clever env set GF_AUTH_GENERIC_OAUTH_NAME Keycloak
clever env set GF_AUTH_GENERIC_OAUTH_ALLOW_SIGN_UP true
clever env set GF_AUTH_GENERIC_OAUTH_CLIENT_ID $GRAFANA_DOMAIN

clever env set GF_AUTH_GENERIC_OAUTH_SCOPES profile
clever env set GF_AUTH_GENERIC_OAUTH_AUTH_URL "https://$KEYCLOAK_DOMAIN/realms/myrealm/protocol/openid-connect/auth"
clever env set GF_AUTH_GENERIC_OAUTH_TOKEN_URL "https://$KEYCLOAK_DOMAIN/realms/myrealm/protocol/openid-connect/token"
clever env set GF_AUTH_GENERIC_OAUTH_API_URL "https://$KEYCLOAK_DOMAIN/realms/myrealm/protocol/openid-connect/userinfo"
clever env set GF_AUTH_GENERIC_OAUTH_ROLE_ATTRIBUTE_PATH "contains(roles[*], 'admin') && 'Admin' || contains(roles[*], 'editor') && 'Editor' || 'Viewer'"

Note : Dans cette section, vous devez définir vous-même GF_AUTH_GENERIC_OAUTH_CLIENT_SECRET, en utilisant la valeur dans Keycloak UI, sous Client > $GRAFANA_URL > Credentials

clever env set GF_AUTH_GENERIC_OAUTH_CLIENT_SECRET <KEYCLOAK_CLIENT_SECRET>

Vous pouvez maintenant déployer Grafana :

 
# Deploy grafana
clever deploy

# Open grafana and try the Login with Keycloak button !
clever open

Maintenant, cliquez sur login with Keycloak, et utilisez le nom d'utilisateur et le mot de passe que vous avez définis pour l'utilisateur que vous avez créé plus tôt dans Keycloak.

En utilisant la même procédure décrite précédemment pour créer le premier utilisateur, vous pouvez maintenant créer d'autres utilisateurs et rôles. Créez les rôles "éditeur" et/ou "visualisateur" et attribuez-les à vos nouveaux utilisateurs dans Keycloak. Essayez de vous connecter avec ceux-ci sur Grafana et vous verrez que les rôles sont propagés à Grafana.

Sources :

• https://janikvonrotz.ch/2020/08/27/grafana-oauth-with-keycloak-and-how-to-validate-a-jwt-token/
• https://www.keycloak.org/getting-started/getting-started-zip

Surprise comme il en arrive souvent: le reportage TV qui a été réalisé sur votre entreprise il y a 2 mois va être programmé demain soir. Ou bien, au cœur d’une thématique brûlante, votre produit va faire l’objet d’une pastille pendant le 20 h.

Le passage à la télé s’accorde toujours mal avec le web. Car lorsque vous dimensionnez vos infrastructures IT, c’est plutôt pour gérer votre croissance sur 3 ans. Sur une belle courbe montante, en général linéaire. Et quand il faut gérer un pic de trafic de 800%, votre architecture va se retrouver à genoux.

Sauf avec Clever Cloud. Configurer vos applications pour absorber un pic de trafic se règle avec quelques clics dans l’interface:

Mais en réalité, gérer le trafic d'un site, c’est simple si vous êtes déjà hébergé par Clever Cloud. Cependant si ce n’est pas le cas, il n’y a pas fatalité pour autant.

M6 diffusait hier l’émission “Qui veut être mon associé ?”. Et la jeune entreprise BioDemain, qui aide les producteurs agricoles au cours des trois années de leur transition bio, y participe alors. Hébergé sur une architecture traditionnelle, le risque de voir le service tomber est grand. Nous avons donc aidé BioDemain à migrer son site vers Clever Cloud, et ce en moins de 24 heures!

Comment Clever Cloud gère ces pics de trafic

Tout d’abord, le trafic va être géré côté Clever Cloud par des load-balancers (aussi appelés répartiteurs de charge en français) avant d’atteindre votre application. Ces load-balancers (autrefois des instances HAPRoxy, et désormais des instances de Sōzu, un logiciel maison) vont se répartir le trafic entre eux. Au même titre que vous aviez des ELB d’Amazon (Elastic Load Balancer), sauf qu’ici, c’est inclus par défaut, et déjà configuré.

Votre application va ensuite recevoir le trafic. En fonction de votre configuration de scaling, votre application va pouvoir déclencher des alertes à notre système de monitoring si CPU et RAM augmentent. Et donc multiplier le nombre d’instances. Des load-balancers et de multiples instances en quelques seconde: et vous voilà paré pour gérer le trafic de votre site.

La migration en soi

Pour passer aussi rapidement chez Clever Cloud, nous avons été mis en relation avec les équipes de BioDemain. Et c’est la formidable organisation du support qui a été à leurs côtés pour migrer leur site (ici un Wordpress) d’une solution mutualisée à Clever Cloud. Malgré un timing plutôt… serré.

La recette du succès a été une migration très rapide. En effet, il y a deux façon de déployer votre Wordpress sur Clever Cloud:

• Rapidement, avec un simple transfert FTP
• D’une façon plus élégante avec l’usage de git pour le code, de Cellar pour les médias et de Composer pour les plug-ins. Nous recommandons le boilerplate de Bedrock pour cela. Zileo a fait un tutorial Bedrock pour Clever Cloud.

Évidement on est partis sur la première solution dans le cas de BioDemain.
Après avoir pris contact avec le développeur, la première étape a été de transférer les fichiers entre l’ancien hébergeur, et Clever.
Plusieurs dizaines de milliers de ficher, donc en FTP ça prends du temps.

En attendant la fin de la transmission de fichiers, notre équipe et BioDemain on pu déployer deux autres instances pour la suite: MySQL et Redis. Puis est venue la configuration de l’application PHP en elle-même (toujours pendant le tranfert).
Ici il a fallu:

• Activer ProxySQL pour mutualiser les connections applications
• Configurer proxySQL via de simples variables d’environnements:
  • CC_ENABLE_MYSQL_PROXYSQL=true pour activation
  • CC_MYSQL_PROXYSQL_MAX_CONNECTIONS =15 pour mettre en place le nombre max de connections à gérer
  • CC_MYSQL_PROXYSQL_USE_TLS=true si besoin
• Faire un dump de la base MySQL originale et importer ce dump dans la nouvelle
• Activer les session Redis dans PHP via les variables d’environnement.

Les petits tips tech en plus

• Vous pouvez également activer le Varnish intégré dans Clever Cloud si vous le sentez
• Aussi, mettez en place un CDN. Si vous n’avez pas le temps d’optimiser au petits oignons votre site, les CDN sont là pour décharger une partie du trafic sur eux.
• Avant toute chose, baissez les TTL de vos enregistrements CNAME et A de votre nom de domaine. Les changements de conf se propagent sur 24 h. Vous allez trouver dommage de faire une migration si le trafic continue d'aller ailleurs.
• Et si jamais vous avez un down, redirigerez votre page d’accueil vers une application qui affiche un formulaire de contact. Ainsi les internautes pourront ainsi laisser un email pour être joints à nouveau.

Enfin, évaluez les performances. Le moment fatidique du passage TV ne souffre pas d’un seul oubli. Pour cela: JMeter en local (attention, ca demande des ressources), ou des services en ligne super bien comme Gatling.io.

Vous avez toutes les cartes en main pour la suite :) Bon courage !

Dans l'un de nos précédents blogposts, nous vous avons annoncé la sortie d'un Grafana Clever Cloud dédié à toutes nos métriques. Et si maintenant, vous souhaitez en plus recevoir une alerte lorsqu'une application est dans un état anormal ? Grafana propose un service d'alerte qui est compatible avec notre backend Warp10. À présent, voyons comment créer une alerte Slack pour Grafana en utilisant une source de données PromQL.

Grafana Notifier

Tout d'abord, avant de créer des alertes, nous devons configurer un notifier Grafana. Consultez la liste complète des notifiers Grafana supportés ici. Mais, vous ne pourrez pas configurer les notifiers qui nécessitent un accès administrateur, comme l'email ou le SMTP. Dans cet exemple, nous allons configurer un canal Slack pour recevoir toutes les alertes Grafana.

Configurer Slack

Afin de pouvoir recevoir des alertes sur Slack, Grafana demandera un webhook. Le processus pour en créer un avec slack est ici. À la fin, vous devriez obtenir un webhook entrant actif.

Copiez l'URL du webhook puis allez dans le panneau principal d'alerte (la cloche à gauche) et ajoutez un nouveau canal de notification slack. Configurez-le comme ci-dessous, dans le champ URL du webhook, dans l'application Slack. Vous pouvez définir le nom de votre choix.

Avant de valider, vous pouvez tester votre intégration sur Slack avec le bouton Test. Sans attendre, dans le canal Slack de la configuration, vous recevrez alors un message de test.

Les alertes sur Grafana

Maintenant que nous avons activé un notifier d'alerte, créons une alerte dans Grafana.

Les métriques disponibles de Clever Cloud

Nous allons commencer par l'un des modèles de tableaux que nous proposons sur Grafana. Nous avons donc déployé une application de preview sur une organisation Clever Cloud.

Pour la suite de ce post, nous allons travailler sur les métriques de average_load. Comme vous pouvez voir ci-dessous, il s'agit d'une simple requête PromQL. Cependant, elle inclut des variables personnalisées APP_ID et DEPLOY_ID qui ne sont pas prises en charge par les alertes Grafana !

Avant d'activer l'alerte, nous allons garder quelque part cette requête de graphique system.load1_per_cpu{app_id="APP_ID"}. Nous allons simplement remplacer la variable APP_ID par sa valeur, qui est disponible en haut du tableau.

Ensuite, pour ne pas perdre nos alertes personnalisées à chaque mise à jour des modèles de tableaux Clever Cloud, créez un nouveau tableau de bord.

Enregistrez-le également dans un dossier dédié qui n'est pas Clever Cloud, dans notre exemple, nous avons choisi alerting.

Enfin, dans ce nouveau tableau, créez le même graphique de load avec la requête system.load1_per_cpu{app_id="APP_ID"}. Comme vu précédemment, remplacez APP_ID par votre propre ID d'application. Pour la source de données, sélectionnez celle de PromQL.

Configurer l'alerte

A cette étape, nous avons un nouveau graphique où nous pouvons mettre en place une première alerte sur le load de notre application. Pour cela, allez dans le panneau Alerte, et configurez l'alerte en fonction du paramètre que vous souhaitez. Pour faire rapidement fonctionner une alerte, je configure la condition pour vérifier si mes métriques sont inférieures à la valeur 0.2.

Ensuite, toujours dans le panneau Alerte, ajoutez le notifier que vous avez créé dans la première section. Ici, vous pouvez personnaliser l'alerte que vous recevrez dans slack : ajout d'un message et de balises personnalisées.

Puis, une fois que vous avez configuré votre alerte, vous pouvez tester la règle avec le bouton tester la règle.

Ensuite, il ne vous reste plus qu'à attendre qu'une alerte apparaisse sur Slack ! En outre, chaque changement d'état d'alerte sera indiqué sur le graphique. Après environ cinq minutes, comme la condition d'état d'alerte était atteinte, j'ai bien obtenu deux changements d'état : un en attente et un en alerte.

Dès que l'état d'alerte se produit, un message Slack est envoyé par le notifier.

Enfin, j'aimerais retrouver un état plus "normal". Pour ce faire, je mets à jour ma condition d'alerte et la fixe à plus de 0,8, ce qui est une valeur plus classique pour un seuil d'alerte pour la métrique de load.

Instantanément (ou presque), l'état de l'alerte change et vient OK !

Juste après, Grafana envoie également un message à Slack pour mettre fin à l'issue !

Pour résumer

Désormais, vous devriez être en mesure de configurer vos propres alertes sur Slack pour Grafana ! Vous pouvez jouer avec le temps d'attente, la condition d'alerte, le moment de déclenchement, le contenu du message d'alerte, les balises, etc. En fait, tout ce dont vous avez besoin est une requête PromQL fonctionnelle. Néanmoins, n'oubliez pas que les alertes Grafana ne prennent pas en charge les variables des tableaux. En dehors de cela, vous devriez être en mesure de personnaliser l'alerte comme vous le souhaitez !

J'espère que vous apprécierez et n'hésitez pas à nous faire part de vos remarques et idées sur le produit Alerting et Metrics. Nous serons heureux de recevoir votre avis. Vous pouvez me contacter directement sur Twitter, ou à poster un commentaire dans l'aperçu des métriques.