Chez Clever Cloud, nous aimons avoir un certain contexte sur le statut et les logs de nos applications. C'est pourquoi nous avons déployé un grand nombre d'outils pour obtenir une certaine observabilité. Beaucoup d'entre eux sont disponibles gratuitement pour nos clients (une vue des logs, une vue des métriques ou Grafana). Cependant, il existe des outils que nous utilisons en interne et qui pourraient être utiles à beaucoup. Nous avons récemment découvert glichtip, qui est un outil de suivi des erreurs en open source. Glichtip est une excellente alternative à Sentry et moins complexe à déployer. Nous ajouterons que Glichtip est compatible avec le SDK open source de Sentry.

Contexte

Nous avons utilisé Sentry pour analyser les erreurs provenant des logs de nos propres applications. Nous utilisions encore la version 9.1 jusqu'à ce que nous ayons trop de difficultés à la faire fonctionner. Nous devions alors faire une mise à jour ou trouver une nouvelle solution. Toutes les versions de Sentry postérieures à 9.1 nécessitent beaucoup plus de composants à déployer (comme Kafka, Snuba ou Clickhouse). Il est toujours possible de le déployer avec un script auto-hébergé. Nous voulions que chaque composant soit autonome en dehors de l'application principale de Sentry, cela signifiait que nous devions fournir une authentification à tous les composants. Ce n'était pas un gros problème, mais cela nous aurait pris plus de temps que prévu. Et en même temps, nous avons découvert un nouveau projet : Glitchtip.

Glitchtip

Tout a commencé par un tweet français, sur la découverte d'un nouvel outil : Glitchtip. Ce tweet disait que Glitchtip était compatible avec Sentry, gratuit et facile à auto-héberger, c'était donc évident que nous allions l'essayer !

Que fournit Glitchtip ? A l'intérieur de votre application, avec le SDK Sentry, vous transférez certains de vos logs d'erreurs. Ensuite, l'outil vous aide à suivre ces erreurs, à mieux comprendre quand une nouvelle version de l'outil crée de nouvelles erreurs, à les organiser ou à les rechercher… En un mot, c'est un outil très utile pour déboguer vos logiciels déployés.

Déploiement sur Clever Cloud

Configuration

Tout d'abord, nous allons télécharger le projet Docker Glitchtip et le personnaliser un peu pour correspondre à la façon dont les applications Docker sont exécutées dans Clever Cloud.

# Get latest Glitchtip release
git clone https://gitlab.com/glitchtip/glitchtip.git

# Go to the folder
cd glitchtip

Ensuite, ouvrez votre IDE de code préféré et ouvrez le Dockerfile :

# Remove
FROM glitchtip/glitchtip:latest

# And add instead:
FROM glitchtip/glitchtip:v1.12.2

COPY docker-entrypoint.sh /entrypoint.sh
ENTRYPOINT ["/entrypoint.sh"]

Ici, nous allons mettre en place la dernière version de Glitchtip. Au moment où nous écrivions ce blog, il s'agissait de la v1.12.2. Vous pouvez les trouver ici. Nous mettons en place un nouveau script pour utiliser docker-entrypoint.sh qui nous permettra de démarrer soit l'application web Glitchtip soit le travailleur Glitchtip. Le docker-entrypoint.sh doit contenir le script suivant :

# docker-entrypoint.sh script:
#!/bin/bash

if [ "${START_TARGET}" = "worker" ]; then
  mkdir /tmp/sandboxed
	cd /tmp/sandboxed && nohup python -m http.server 8080 &
	/code/bin/run-celery-with-beat.sh
else
  /code/bin/start.sh
fi

# Don't forget to make it executable:
chmod u+x docker-entrypoint.sh

Déployer

Glitchtip est livré avec un Dockerfile, ce qui signifie que nous utiliserons un runtime docker. Il nécessite également une base de données PostgreSQL et un cache Redis, ce qui signifie que nous allons déployer un addon PostgreSQL et un addon Redis. L'ajout d'une option -o dans toutes les lignes de commande create peut être utilisé pour spécifier l'organisation à utiliser.

# Create the docker applications:
clever create --type docker glitchtip-web
clever create --type docker glitchtip-worker

# Create the PG addon
clever addon create postgresql-addon --plan s_sml --addon-version 14 glitchtip-postgres

# Link the addon
clever service link-addon glitchtip-postgres -a glitchtip-web
clever service link-addon glitchtip-postgres -a glitchtip-worker

# Create the Redis addon
clever addon create redis-addon --plan s_mono glitchtip-redis

# Link the addon
clever service link-addon glitchtip-redis -a glitchtip-web
clever service link-addon glitchtip-redis -a glitchtip-worker

Configurer

Pour l'instant nous allons configurer Glitchtip à travers des variables d'environnement. Comme nous utilisons plusieurs applications, nous allons déployer un fournisseur de configuration addon.

# Create a config addon:
clever addon create config-provider --plan std glitchtip-config

# Link the addon
clever service link-addon glitchtip-config -a glitchtip-web
clever service link-addon glitchtip-config -a glitchtip-worker

Maintenant que nous avons déployé un fournisseur d'addon de configuration, mettons à jour sa configuration. Pour ce faire, allez dans la console Clever Cloud et sélectionnez le glitchtip-config. Dans le panneau des variables, sélectionnez le mode expert et ajoutez la variable requise suivante, (remplissez leur valeur en fonction du commentaire fourni) :

# In the config addon provider add:
CC_DOCKER_EXPOSED_HTTP_PORT="8080"
# Copy paste here the POSTGRESQL_ADDON_URI environment variable of the glitchtip-postgres addon 
DATABASE_URL="postgresql://user:password@host:port/database"
# Provide a valid email server
EMAIL_URL="smtp://email:password@smtp_url:port"
# Copy paste here the application domain name of the glitchtip-web application instead (should look like: https://app-da7a7a7a-da7a-4242-7a7a-da7a42427a7a.cleverapps.io)
GLITCHTIP_DOMAIN="MY_APP_DOMAIN_NAME"
# Copy paste here the REDIS_ADDON's environment variable of the glitchtip-redis addon 
REDIS_HOST= < REDIS_HOST >
REDIS_PASSWORD= < REDIS_PASSWORD > 
REDIS_PORT= < REDIS_PORT >
# Generate your own custom secret key for Glitchtip
SECRET_KEY= < choose a secret key >

Notez que vous pouvez trouver plus d'informations sur la façon de configurer Glitchtip dans sa documentation.

Chaque application docker nécessite également une certaine configuration personnalisée :

#glitchtip-web custom env
clever env set CC_RUN_SUCCEEDED_HOOK "./manage.py migrate" -a glitchtip-web
clever env set START_TARGET "web" -a glitchtip-web
#glitchtip-worker custom env
clever env set START_TARGET "worker" -a glitchtip-worker

Déployer et exécuter

Maintenant que tout est prêt, il est temps de déployer et d'exécuter votre application Glitchtip.

# Remove initial git
rm -r .git 

# Init a git repository
git init

# Add your files
git add .

# Commit the changes
git commit -m "clever init and deploy"

# Deploy the application
clever deploy -a glitchtip-web
clever deploy -a glitchtip-worker

# Open Glitchtip in your browser
clever open -a glitchtip-web

Votre glitchtip est maintenant presque prêt à être utilisé. Une dernière action est nécessaire : vous devez créer un super utilisateur pour administrer Glitchtip.

# Connect in SSH to your Clever application:
clever ssh -a glitchtip-web

# Run 
./manage.py createsuperuser

Bon travail ! Vous devriez maintenant avoir un accès à la page d'administration de glitchtip (disponible sur le path /admin de votre application). Vous pouvez alors créer des utilisateurs ou vous connecter à votre réseau/application sociale préférée pour authentifier vos utilisateurs. Vous trouverez plus d'informations sur la documentation. Vous pouvez définir votre propre keycloak sur Clever Cloud et l'utiliser pour vous connecter à Glitchtip !

Connecter Glitchtip à une application

Nous allons réutiliser l'exemple d'application akka que nous avons utilisé pour notre blogpost exemple scala. Et nous verrons ensuite comment nous pouvons transmettre nos propres logs d'erreurs à Glitchtip.

Créer un projet Glitchtip

La première étape sera de se connecter avec le nouvel utilisateur root (ou tout utilisateur Glitchtip que vous avez créé ou lié à un réseau/application sociale). Glitchtip vous demandera de créer votre organisation. Dans notre cas, nous avons choisi clever-cloud. Comme nous voulons surveiller les logs d'erreur de notre application, nous devrons créer un nouveau projet directement dans l'interface de Glitchtip. Appelons-le "myakka" et créons l'équipe "Scala-dev" qui lui est associée.

Une fois que ce projet est créé, vous serez en mesure d'obtenir un DSN. Nous le chargerons plus tard comme variable d'environnement pour l'application akka.

Créer un Token Glitchtip

Allez dans Profile/auth token et créez un nouveau jeton Glitchtip avec au moins les droits suivants : read, write et releases. Sauvegardez-le pour plus tard.

Configurer l'application d'exemple AKKA sur Clever Cloud

La première étape consiste à déployer l'application AKKA sur Clever Cloud comme mentionné dans le blogpost scala exemple. Clonez le projet, et au lieu de la branche principale, utilisez la branche blogpost-sentry.

# Clone Clever Cloud akka example project:
git clone https://github.com/CleverCloud/scala-akka-http-postgres-example.git

# Checkout blogpost-sentry
git checkout blogpost-sentry

Dans cette branche, nous mettons à jour l’application pour se connecter à Sentry. Ensuite, nous envoyons seulement les logs HTTP du serveur de départ avec un statut personnalisé (succès ou échec). Voici le code que nous utilisons dans la branche blogpost-sentry :

# Register Sentry
Sentry.init(sentryConfig.sentryDsn)

# Send a message to Sentry with a tag
Sentry.getContext().addTag("status", status)
Sentry.capture(message)
Sentry.getContext().clear()

De plus, vous devez ajouter un fichier .sentryclirc. Ce fichier doit contenir :

[defaults]
url=GLITCHTIP_APP_DOMAIN_NAME
org=clever-cloud
project=myakka

Configurer les variables d'environnement de Glitchtip

Utilisez le script post_build.sh comme CC_POST_BUILD_HOOK. Ceci lancera le sbt flywayMigrate obligatoire ainsi que la création d'une nouvelle version sur Sentry (basée sur le commit ID).

# Set CC_POST_BUILD_HOOK
clever env -a myakka set CC_POST_BUILD_HOOK "./post_build.sh"

Vous devez également définir le jeton Glitchtip et le dsn Glitchtip comme variables d'environnement :

# Set Glitchip required env variables
clever env -a myakka set SENTRY_AUTH_TOKEN < custom_glitchtip_token >  
clever env -a myakka set SENTRY_DSN < custom_glitchtip_dsn >  

Déployer l'application

Vous pouvez maintenant déployer le projet myakka :

# Deploy myakka
clever deploy

Essayez-la

Dès que c'est fait, vous devriez voir votre première issue sur Glitchip ! C'est tout, vous pouvez maintenant ajouter toutes les applications que vous voulez à Glitchtip et profiter de cet outil pour centraliser les logs et erreurs de vos applications. Si vous êtes habitué à ce produit ou si vous venez de l'essayer, n'hésitez pas à nous faire part de vos retours sur Twitter.

Dans l'un de nos précédents blogposts, nous vous avons annoncé la sortie d'un Grafana Clever Cloud dédié à toutes nos métriques. Et si maintenant, vous souhaitez en plus recevoir une alerte lorsqu'une application est dans un état anormal ? Grafana propose un service d'alerte qui est compatible avec notre backend Warp10. À présent, voyons comment créer une alerte Slack pour Grafana en utilisant une source de données PromQL.

Grafana Notifier

Tout d'abord, avant de créer des alertes, nous devons configurer un notifier Grafana. Consultez la liste complète des notifiers Grafana supportés ici. Mais, vous ne pourrez pas configurer les notifiers qui nécessitent un accès administrateur, comme l'email ou le SMTP. Dans cet exemple, nous allons configurer un canal Slack pour recevoir toutes les alertes Grafana.

Configurer Slack

Afin de pouvoir recevoir des alertes sur Slack, Grafana demandera un webhook. Le processus pour en créer un avec slack est ici. À la fin, vous devriez obtenir un webhook entrant actif.

Copiez l'URL du webhook puis allez dans le panneau principal d'alerte (la cloche à gauche) et ajoutez un nouveau canal de notification slack. Configurez-le comme ci-dessous, dans le champ URL du webhook, dans l'application Slack. Vous pouvez définir le nom de votre choix.

Avant de valider, vous pouvez tester votre intégration sur Slack avec le bouton Test. Sans attendre, dans le canal Slack de la configuration, vous recevrez alors un message de test.

Les alertes sur Grafana

Maintenant que nous avons activé un notifier d'alerte, créons une alerte dans Grafana.

Les métriques disponibles de Clever Cloud

Nous allons commencer par l'un des modèles de tableaux que nous proposons sur Grafana. Nous avons donc déployé une application de preview sur une organisation Clever Cloud.

Pour la suite de ce post, nous allons travailler sur les métriques de average_load. Comme vous pouvez voir ci-dessous, il s'agit d'une simple requête PromQL. Cependant, elle inclut des variables personnalisées APP_ID et DEPLOY_ID qui ne sont pas prises en charge par les alertes Grafana !

Avant d'activer l'alerte, nous allons garder quelque part cette requête de graphique system.load1_per_cpu{app_id="APP_ID"}. Nous allons simplement remplacer la variable APP_ID par sa valeur, qui est disponible en haut du tableau.

Ensuite, pour ne pas perdre nos alertes personnalisées à chaque mise à jour des modèles de tableaux Clever Cloud, créez un nouveau tableau de bord.

Enregistrez-le également dans un dossier dédié qui n'est pas Clever Cloud, dans notre exemple, nous avons choisi alerting.

Enfin, dans ce nouveau tableau, créez le même graphique de load avec la requête system.load1_per_cpu{app_id="APP_ID"}. Comme vu précédemment, remplacez APP_ID par votre propre ID d'application. Pour la source de données, sélectionnez celle de PromQL.

Configurer l'alerte

A cette étape, nous avons un nouveau graphique où nous pouvons mettre en place une première alerte sur le load de notre application. Pour cela, allez dans le panneau Alerte, et configurez l'alerte en fonction du paramètre que vous souhaitez. Pour faire rapidement fonctionner une alerte, je configure la condition pour vérifier si mes métriques sont inférieures à la valeur 0.2.

Ensuite, toujours dans le panneau Alerte, ajoutez le notifier que vous avez créé dans la première section. Ici, vous pouvez personnaliser l'alerte que vous recevrez dans slack : ajout d'un message et de balises personnalisées.

Puis, une fois que vous avez configuré votre alerte, vous pouvez tester la règle avec le bouton tester la règle.

Ensuite, il ne vous reste plus qu'à attendre qu'une alerte apparaisse sur Slack ! En outre, chaque changement d'état d'alerte sera indiqué sur le graphique. Après environ cinq minutes, comme la condition d'état d'alerte était atteinte, j'ai bien obtenu deux changements d'état : un en attente et un en alerte.

Dès que l'état d'alerte se produit, un message Slack est envoyé par le notifier.

Enfin, j'aimerais retrouver un état plus "normal". Pour ce faire, je mets à jour ma condition d'alerte et la fixe à plus de 0,8, ce qui est une valeur plus classique pour un seuil d'alerte pour la métrique de load.

Instantanément (ou presque), l'état de l'alerte change et vient OK !

Juste après, Grafana envoie également un message à Slack pour mettre fin à l'issue !

Pour résumer

Désormais, vous devriez être en mesure de configurer vos propres alertes sur Slack pour Grafana ! Vous pouvez jouer avec le temps d'attente, la condition d'alerte, le moment de déclenchement, le contenu du message d'alerte, les balises, etc. En fait, tout ce dont vous avez besoin est une requête PromQL fonctionnelle. Néanmoins, n'oubliez pas que les alertes Grafana ne prennent pas en charge les variables des tableaux. En dehors de cela, vous devriez être en mesure de personnaliser l'alerte comme vous le souhaitez !

J'espère que vous apprécierez et n'hésitez pas à nous faire part de vos remarques et idées sur le produit Alerting et Metrics. Nous serons heureux de recevoir votre avis. Vous pouvez me contacter directement sur Twitter, ou à poster un commentaire dans l'aperçu des métriques.