Chez Clever Cloud, nous aimons avoir un certain contexte sur le statut et les logs de nos applications. C'est pourquoi nous avons déployé un grand nombre d'outils pour obtenir une certaine observabilité. Beaucoup d'entre eux sont disponibles gratuitement pour nos clients (une vue des logs, une vue des métriques ou Grafana). Cependant, il existe des outils que nous utilisons en interne et qui pourraient être utiles à beaucoup. Nous avons récemment découvert glichtip, qui est un outil de suivi des erreurs en open source. Glichtip est une excellente alternative à Sentry et moins complexe à déployer. Nous ajouterons que Glichtip est compatible avec le SDK open source de Sentry.

Contexte

Nous avons utilisé Sentry pour analyser les erreurs provenant des logs de nos propres applications. Nous utilisions encore la version 9.1 jusqu'à ce que nous ayons trop de difficultés à la faire fonctionner. Nous devions alors faire une mise à jour ou trouver une nouvelle solution. Toutes les versions de Sentry postérieures à 9.1 nécessitent beaucoup plus de composants à déployer (comme Kafka, Snuba ou Clickhouse). Il est toujours possible de le déployer avec un script auto-hébergé. Nous voulions que chaque composant soit autonome en dehors de l'application principale de Sentry, cela signifiait que nous devions fournir une authentification à tous les composants. Ce n'était pas un gros problème, mais cela nous aurait pris plus de temps que prévu. Et en même temps, nous avons découvert un nouveau projet : Glitchtip.

Glitchtip

Tout a commencé par un tweet français, sur la découverte d'un nouvel outil : Glitchtip. Ce tweet disait que Glitchtip était compatible avec Sentry, gratuit et facile à auto-héberger, c'était donc évident que nous allions l'essayer !

Que fournit Glitchtip ? A l'intérieur de votre application, avec le SDK Sentry, vous transférez certains de vos logs d'erreurs. Ensuite, l'outil vous aide à suivre ces erreurs, à mieux comprendre quand une nouvelle version de l'outil crée de nouvelles erreurs, à les organiser ou à les rechercher… En un mot, c'est un outil très utile pour déboguer vos logiciels déployés.

Déploiement sur Clever Cloud

Configuration

Tout d'abord, nous allons télécharger le projet Docker Glitchtip et le personnaliser un peu pour correspondre à la façon dont les applications Docker sont exécutées dans Clever Cloud.

# Get latest Glitchtip release
git clone https://gitlab.com/glitchtip/glitchtip.git

# Go to the folder
cd glitchtip

Ensuite, ouvrez votre IDE de code préféré et ouvrez le Dockerfile :

# Remove
FROM glitchtip/glitchtip:latest

# And add instead:
FROM glitchtip/glitchtip:v1.12.2

COPY docker-entrypoint.sh /entrypoint.sh
ENTRYPOINT ["/entrypoint.sh"]

Ici, nous allons mettre en place la dernière version de Glitchtip. Au moment où nous écrivions ce blog, il s'agissait de la v1.12.2. Vous pouvez les trouver ici. Nous mettons en place un nouveau script pour utiliser docker-entrypoint.sh qui nous permettra de démarrer soit l'application web Glitchtip soit le travailleur Glitchtip. Le docker-entrypoint.sh doit contenir le script suivant :

# docker-entrypoint.sh script:
#!/bin/bash

if [ "${START_TARGET}" = "worker" ]; then
  mkdir /tmp/sandboxed
	cd /tmp/sandboxed && nohup python -m http.server 8080 &
	/code/bin/run-celery-with-beat.sh
else
  /code/bin/start.sh
fi

# Don't forget to make it executable:
chmod u+x docker-entrypoint.sh

Déployer

Glitchtip est livré avec un Dockerfile, ce qui signifie que nous utiliserons un runtime docker. Il nécessite également une base de données PostgreSQL et un cache Redis, ce qui signifie que nous allons déployer un addon PostgreSQL et un addon Redis. L'ajout d'une option -o dans toutes les lignes de commande create peut être utilisé pour spécifier l'organisation à utiliser.

# Create the docker applications:
clever create --type docker glitchtip-web
clever create --type docker glitchtip-worker

# Create the PG addon
clever addon create postgresql-addon --plan s_sml --addon-version 14 glitchtip-postgres

# Link the addon
clever service link-addon glitchtip-postgres -a glitchtip-web
clever service link-addon glitchtip-postgres -a glitchtip-worker

# Create the Redis addon
clever addon create redis-addon --plan s_mono glitchtip-redis

# Link the addon
clever service link-addon glitchtip-redis -a glitchtip-web
clever service link-addon glitchtip-redis -a glitchtip-worker

Configurer

Pour l'instant nous allons configurer Glitchtip à travers des variables d'environnement. Comme nous utilisons plusieurs applications, nous allons déployer un fournisseur de configuration addon.

# Create a config addon:
clever addon create config-provider --plan std glitchtip-config

# Link the addon
clever service link-addon glitchtip-config -a glitchtip-web
clever service link-addon glitchtip-config -a glitchtip-worker

Maintenant que nous avons déployé un fournisseur d'addon de configuration, mettons à jour sa configuration. Pour ce faire, allez dans la console Clever Cloud et sélectionnez le glitchtip-config. Dans le panneau des variables, sélectionnez le mode expert et ajoutez la variable requise suivante, (remplissez leur valeur en fonction du commentaire fourni) :

# In the config addon provider add:
CC_DOCKER_EXPOSED_HTTP_PORT="8080"
# Copy paste here the POSTGRESQL_ADDON_URI environment variable of the glitchtip-postgres addon 
DATABASE_URL="postgresql://user:password@host:port/database"
# Provide a valid email server
EMAIL_URL="smtp://email:password@smtp_url:port"
# Copy paste here the application domain name of the glitchtip-web application instead (should look like: https://app-da7a7a7a-da7a-4242-7a7a-da7a42427a7a.cleverapps.io)
GLITCHTIP_DOMAIN="MY_APP_DOMAIN_NAME"
# Copy paste here the REDIS_ADDON's environment variable of the glitchtip-redis addon 
REDIS_HOST= < REDIS_HOST >
REDIS_PASSWORD= < REDIS_PASSWORD > 
REDIS_PORT= < REDIS_PORT >
# Generate your own custom secret key for Glitchtip
SECRET_KEY= < choose a secret key >

Notez que vous pouvez trouver plus d'informations sur la façon de configurer Glitchtip dans sa documentation.

Chaque application docker nécessite également une certaine configuration personnalisée :

#glitchtip-web custom env
clever env set CC_RUN_SUCCEEDED_HOOK "./manage.py migrate" -a glitchtip-web
clever env set START_TARGET "web" -a glitchtip-web
#glitchtip-worker custom env
clever env set START_TARGET "worker" -a glitchtip-worker

Déployer et exécuter

Maintenant que tout est prêt, il est temps de déployer et d'exécuter votre application Glitchtip.

# Remove initial git
rm -r .git 

# Init a git repository
git init

# Add your files
git add .

# Commit the changes
git commit -m "clever init and deploy"

# Deploy the application
clever deploy -a glitchtip-web
clever deploy -a glitchtip-worker

# Open Glitchtip in your browser
clever open -a glitchtip-web

Votre glitchtip est maintenant presque prêt à être utilisé. Une dernière action est nécessaire : vous devez créer un super utilisateur pour administrer Glitchtip.

# Connect in SSH to your Clever application:
clever ssh -a glitchtip-web

# Run 
./manage.py createsuperuser

Bon travail ! Vous devriez maintenant avoir un accès à la page d'administration de glitchtip (disponible sur le path /admin de votre application). Vous pouvez alors créer des utilisateurs ou vous connecter à votre réseau/application sociale préférée pour authentifier vos utilisateurs. Vous trouverez plus d'informations sur la documentation. Vous pouvez définir votre propre keycloak sur Clever Cloud et l'utiliser pour vous connecter à Glitchtip !

Connecter Glitchtip à une application

Nous allons réutiliser l'exemple d'application akka que nous avons utilisé pour notre blogpost exemple scala. Et nous verrons ensuite comment nous pouvons transmettre nos propres logs d'erreurs à Glitchtip.

Créer un projet Glitchtip

La première étape sera de se connecter avec le nouvel utilisateur root (ou tout utilisateur Glitchtip que vous avez créé ou lié à un réseau/application sociale). Glitchtip vous demandera de créer votre organisation. Dans notre cas, nous avons choisi clever-cloud. Comme nous voulons surveiller les logs d'erreur de notre application, nous devrons créer un nouveau projet directement dans l'interface de Glitchtip. Appelons-le "myakka" et créons l'équipe "Scala-dev" qui lui est associée.

Une fois que ce projet est créé, vous serez en mesure d'obtenir un DSN. Nous le chargerons plus tard comme variable d'environnement pour l'application akka.

Créer un Token Glitchtip

Allez dans Profile/auth token et créez un nouveau jeton Glitchtip avec au moins les droits suivants : read, write et releases. Sauvegardez-le pour plus tard.

Configurer l'application d'exemple AKKA sur Clever Cloud

La première étape consiste à déployer l'application AKKA sur Clever Cloud comme mentionné dans le blogpost scala exemple. Clonez le projet, et au lieu de la branche principale, utilisez la branche blogpost-sentry.

# Clone Clever Cloud akka example project:
git clone https://github.com/CleverCloud/scala-akka-http-postgres-example.git

# Checkout blogpost-sentry
git checkout blogpost-sentry

Dans cette branche, nous mettons à jour l’application pour se connecter à Sentry. Ensuite, nous envoyons seulement les logs HTTP du serveur de départ avec un statut personnalisé (succès ou échec). Voici le code que nous utilisons dans la branche blogpost-sentry :

# Register Sentry
Sentry.init(sentryConfig.sentryDsn)

# Send a message to Sentry with a tag
Sentry.getContext().addTag("status", status)
Sentry.capture(message)
Sentry.getContext().clear()

De plus, vous devez ajouter un fichier .sentryclirc. Ce fichier doit contenir :

[defaults]
url=GLITCHTIP_APP_DOMAIN_NAME
org=clever-cloud
project=myakka

Configurer les variables d'environnement de Glitchtip

Utilisez le script post_build.sh comme CC_POST_BUILD_HOOK. Ceci lancera le sbt flywayMigrate obligatoire ainsi que la création d'une nouvelle version sur Sentry (basée sur le commit ID).

# Set CC_POST_BUILD_HOOK
clever env -a myakka set CC_POST_BUILD_HOOK "./post_build.sh"

Vous devez également définir le jeton Glitchtip et le dsn Glitchtip comme variables d'environnement :

# Set Glitchip required env variables
clever env -a myakka set SENTRY_AUTH_TOKEN < custom_glitchtip_token >  
clever env -a myakka set SENTRY_DSN < custom_glitchtip_dsn >  

Déployer l'application

Vous pouvez maintenant déployer le projet myakka :

# Deploy myakka
clever deploy

Essayez-la

Dès que c'est fait, vous devriez voir votre première issue sur Glitchip ! C'est tout, vous pouvez maintenant ajouter toutes les applications que vous voulez à Glitchtip et profiter de cet outil pour centraliser les logs et erreurs de vos applications. Si vous êtes habitué à ce produit ou si vous venez de l'essayer, n'hésitez pas à nous faire part de vos retours sur Twitter.

Dans l'un de nos précédents blogposts, nous vous avons annoncé la sortie d'un Grafana Clever Cloud dédié à toutes nos métriques. Et si maintenant, vous souhaitez en plus recevoir une alerte lorsqu'une application est dans un état anormal ? Grafana propose un service d'alerte qui est compatible avec notre backend Warp10. À présent, voyons comment créer une alerte Slack pour Grafana en utilisant une source de données PromQL.

Grafana Notifier

Tout d'abord, avant de créer des alertes, nous devons configurer un notifier Grafana. Consultez la liste complète des notifiers Grafana supportés ici. Mais, vous ne pourrez pas configurer les notifiers qui nécessitent un accès administrateur, comme l'email ou le SMTP. Dans cet exemple, nous allons configurer un canal Slack pour recevoir toutes les alertes Grafana.

Configurer Slack

Afin de pouvoir recevoir des alertes sur Slack, Grafana demandera un webhook. Le processus pour en créer un avec slack est ici. À la fin, vous devriez obtenir un webhook entrant actif.

Copiez l'URL du webhook puis allez dans le panneau principal d'alerte (la cloche à gauche) et ajoutez un nouveau canal de notification slack. Configurez-le comme ci-dessous, dans le champ URL du webhook, dans l'application Slack. Vous pouvez définir le nom de votre choix.

Avant de valider, vous pouvez tester votre intégration sur Slack avec le bouton Test. Sans attendre, dans le canal Slack de la configuration, vous recevrez alors un message de test.

Les alertes sur Grafana

Maintenant que nous avons activé un notifier d'alerte, créons une alerte dans Grafana.

Les métriques disponibles de Clever Cloud

Nous allons commencer par l'un des modèles de tableaux que nous proposons sur Grafana. Nous avons donc déployé une application de preview sur une organisation Clever Cloud.

Pour la suite de ce post, nous allons travailler sur les métriques de average_load. Comme vous pouvez voir ci-dessous, il s'agit d'une simple requête PromQL. Cependant, elle inclut des variables personnalisées APP_ID et DEPLOY_ID qui ne sont pas prises en charge par les alertes Grafana !

Avant d'activer l'alerte, nous allons garder quelque part cette requête de graphique system.load1_per_cpu{app_id="APP_ID"}. Nous allons simplement remplacer la variable APP_ID par sa valeur, qui est disponible en haut du tableau.

Ensuite, pour ne pas perdre nos alertes personnalisées à chaque mise à jour des modèles de tableaux Clever Cloud, créez un nouveau tableau de bord.

Enregistrez-le également dans un dossier dédié qui n'est pas Clever Cloud, dans notre exemple, nous avons choisi alerting.

Enfin, dans ce nouveau tableau, créez le même graphique de load avec la requête system.load1_per_cpu{app_id="APP_ID"}. Comme vu précédemment, remplacez APP_ID par votre propre ID d'application. Pour la source de données, sélectionnez celle de PromQL.

Configurer l'alerte

A cette étape, nous avons un nouveau graphique où nous pouvons mettre en place une première alerte sur le load de notre application. Pour cela, allez dans le panneau Alerte, et configurez l'alerte en fonction du paramètre que vous souhaitez. Pour faire rapidement fonctionner une alerte, je configure la condition pour vérifier si mes métriques sont inférieures à la valeur 0.2.

Ensuite, toujours dans le panneau Alerte, ajoutez le notifier que vous avez créé dans la première section. Ici, vous pouvez personnaliser l'alerte que vous recevrez dans slack : ajout d'un message et de balises personnalisées.

Puis, une fois que vous avez configuré votre alerte, vous pouvez tester la règle avec le bouton tester la règle.

Ensuite, il ne vous reste plus qu'à attendre qu'une alerte apparaisse sur Slack ! En outre, chaque changement d'état d'alerte sera indiqué sur le graphique. Après environ cinq minutes, comme la condition d'état d'alerte était atteinte, j'ai bien obtenu deux changements d'état : un en attente et un en alerte.

Dès que l'état d'alerte se produit, un message Slack est envoyé par le notifier.

Enfin, j'aimerais retrouver un état plus "normal". Pour ce faire, je mets à jour ma condition d'alerte et la fixe à plus de 0,8, ce qui est une valeur plus classique pour un seuil d'alerte pour la métrique de load.

Instantanément (ou presque), l'état de l'alerte change et vient OK !

Juste après, Grafana envoie également un message à Slack pour mettre fin à l'issue !

Pour résumer

Désormais, vous devriez être en mesure de configurer vos propres alertes sur Slack pour Grafana ! Vous pouvez jouer avec le temps d'attente, la condition d'alerte, le moment de déclenchement, le contenu du message d'alerte, les balises, etc. En fait, tout ce dont vous avez besoin est une requête PromQL fonctionnelle. Néanmoins, n'oubliez pas que les alertes Grafana ne prennent pas en charge les variables des tableaux. En dehors de cela, vous devriez être en mesure de personnaliser l'alerte comme vous le souhaitez !

J'espère que vous apprécierez et n'hésitez pas à nous faire part de vos remarques et idées sur le produit Alerting et Metrics. Nous serons heureux de recevoir votre avis. Vous pouvez me contacter directement sur Twitter, ou à poster un commentaire dans l'aperçu des métriques.

Chez Clever Cloud, nous estimons important de fournir un accès à nos metrics pour nos utilisateurs. C'est pourquoi vous pouvez d'ores et déjà visualiser vos métriques et choisir entre WarpScript et PromQL pour les requêter. En plus de cela, nous souhaitions proposer plus qu'un simple accès à nos metrics pour nos utilisateurs ! Nous souhaitions proposer un outil pour vous permettre d'explorer et visualiser l'état de vos applications. Dans nos usages, nous utilisons beaucoup Grafana pour créer des tableaux de bord. Et si nous imaginons à présent que l'on puisse réutiliser cet outil pour créer des tableaux de bord dédiés ? C'est comme ça que nous avons eu l'idée de mettre Grafana à votre disposition !

Dans cet article, nous parlerons de l'outil Grafana. Ensuite nous verrons comment nous l'avons déployé. Puis, nous détaillerons étape par étape comment activer la beta de Grafana dans votre organisation. Nous conclurons avec le contenu de nos tableaux de bord.

À propos de Grafana

Grafana est un outil open-source qui entre autres choses de visualiser ses metrics, ses logs et ses alertes. Ainsi, l'objectif de Grafana est de faciliter la création de tableaux de bord efficaces. Grafana comprend également plusieurs tuiles, thèmes et fourni de nombreuses sources de données. Dans notre cas, nous utiliserons seulement Warp10 et Prometheus.

Grafana chez Clever Cloud

Pour ceux qui souhaitent utiliser Grafana, c'est un outil simple à déployer dès à présent sur Clever Cloud. Pour les lecteurs francophones, vous pouvez suivre cet article de blog. Également, nous avons publié quelques scripts pour l'automatiser sur Github. Lorsque nous souhaitions déployer un Grafana pour nos utilisateurs, nous avons décidé d'utiliser les mêmes scripts. C'est pourquoi notre instance déployée tourne comme une application runtime Clever Cloud. Nous activons une option avec force https et nous ajoutons la scalabilité dans l'onglet scalability.

Notre architecture Grafana

Comme Clever Cloud, Grafana propose des espaces de travail appelés "organisations" également. De ce fait, il est facile de lier les 2 et le rendre disponible pour nos utilisateurs. Ensuite, nous avons créé un API endpoint pour connecter notre Grafana avec notre console. Toutes les sources de données exposées (Warp10 et Prometheus) sont gérées de notre côté. Ce qui signifie qu'aucun autre utilisateur ne peut les changer. Cependant nous mettons régulièrement à jour tous nos tokens. De la même manière, nous mettons régulièrement à jour tous les tableaux de bord personnalisés que nous fournissons.

Chaque utilisateur a des droits éditeurs dans ses organisations. Ce qui signifie que vous pouvez personnaliser les tableaux de bord autant que je vous le souhaitez. Nous verrons plus tard dans cet article, comment éviter les conflits avec nos templates.

Activer l'organisation beta de Grafana

Pour activer notre beta, allez sur l'affichage organisation Clever Cloud dans la console Clever Cloud. Ensuite, accédez à une page intitulée Metrics in Grafana.

Tableaux de bord disponibles

Nous avons créé 3 tableaux uniques pour vous ! Premièrement, nous commencerons par un tour d'horizon des metrics d'une organisation. Ensuite, nous rentrerons dans les détails d'une vue en mode runtime. Pour finir, nous verrons comment se présentent les métriques pour les add-ons. La plupart des graphiques des tableaux de bord Grafana contient une petite tuile d'information. Vous pourrez y récupérer quelques indications pour vous guider.

L'organisation Clever Cloud

La vue "organisation" est le tableau de bord principal dans Grafana. Elle fourni des insights sur votre organisation. C'est là que nous présentons quelques informations clé sur les applications, les flavours et les images types. Également, puisque c'est un menu principal, vous pourrez trouver des raccourcis ici. Vous pouvez accéder à tous les templates de tableaux de bord Clever Cloud et également à ceux que vous aurez définis comme favoris dans Grafana. Vous trouverez également des liens pour accéder à ceux d'un service directement.

Il y a une tuile que je souhaite expliquer un peu plus, il s'agit du graphique d'état. A quoi sert-elle ? Chaque nouveau déploiement génère un nouvel état. Nous ne traçons que ceux qui se produisent durant la plage temporelle définie sur Grafana. Et enfin, ce tableau de bord inclus un metrics pour calculer le nombre de requêtes moyen par minute, en se basant sur le nombre de logs d'accès.

Le tableau de bord du runtime d'application

Parlons à présent du tableau de bord runtime. Dans ce tableau, on retrouve plusieurs segments. Pour commencer, un aperçu de l'état de votre application. Ensuite, on a accès à des sections plus détaillées. Ces sections traitent de metrics système classiques tels que le CPU, le chargement, la mémoire, le disque et le réseau. De plus, dans chacun des segments, vous trouverez plusieurs graphiques concernant l'utilisation et des indications prévisionnelles pour quand la ressource arrivera à saturation. Pour calculer ces derniers metrics, on y applique une régression linéaire, tout simplement.

Le tableau de bord des add-ons

Le dernier tableau de bord contient l'affichage des metrics des add-ons. Un premier panneau contient des metrics relatifs au système tels que le CPU, la mémoire, le disque ou le réseau. Un deuxième montre les metrics de la base de données. C'est là que vous récupérerez les informations telles que le nombre de connections, les transactions, les erreurs, les deadlocks ou les opérations sur les tuples. Néanmoins, nous collectons des données personnalisées sur un nombre limité d'add-ons. Il y en a en effet 4 : MySQL, PostgreSQL, Redis et MongoDB.

Personnalisez votre organisation Grafana

Vous avez la capacité d'éditer tous les tableaux dans votre organisation Grafana. Cela signifie que vous pouvez modifier nos templates. Cependant, nous les mettrons à jour de temps en temps. De ce fait, tous vos tableaux de bord seront toujours actualisés.

Nous stockons tous nos templates dans le dossier Clever Cloud. Néanmoins, vous pouvez créer des tableaux de bord personnalisés n'importe où ailleurs, nous ne les modifierons jamais !

L'affichage de Grafana manage view répertorie tous les dossiers et fichiers. Cet affichage est utile pour organiser et créer de nouveaux dossiers.

À tout moment, vous pouvez réinitialiser nos templates. Par exemple, si vous avez procédé à des modifications que vous souhaitez annuler. Dans ce cas, vous pouvez accéder à la page Grafana de votre organisation Clever Cloud. Puis cliquez sur reset all dashboards. Enfin, tous les Clever Cloud seront restaurés à leur précédent état.

Partagez votre expérience

Merci d'avoir lu cet article, nous serions plus que ravis d'avoir votre retour ! Quel en sera votre usage ? Est-ce qu'il manque quelque chose dans ce que nous avons fourni, spécifique à votre utilisation ? Nous espérons que vous allez apprécier ce nouvel outil !