SupervisionMonitoring

Sauvegarde et repriseBackup and recovery

systemctl list-timers lab-backup.timer
journalctl -u lab-backup --since yesterday
sudo etcdutl snapshot status /var/backups/lab/etcd/etcd-<date>.db -w table

ProcéduresRunbook

Un site ne répond plus

A site stopped answering

kubectl get nodes
kubectl get pods -A | grep -v Running
kubectl -n ingress-nginx logs ds/ingress-nginx-controller --tail=50
kubectl get ingress -A

GitLab : 502 ou 504

GitLab: 502 or 504

L'ingress est vivant, c'est l'upstream sur la machine qui ne répond pas. Sur worker1 :

The ingress is alive; the upstream on the host is not answering. On worker1:

sudo gitlab-ctl status                 # GitLab : tous les services en "run"
ss -ltn | grep -E ':(8929|5443) '

Après un redémarrage de GitLab, la page « Waiting for GitLab to boot » (502) est normale pendant une à deux minutes.

After a GitLab restart, the “Waiting for GitLab to boot” page (502) is normal for a minute or two.

Un certificat ne se renouvelle pas

A certificate does not renew

kubectl get certificate,order,challenge -A
kubectl -n cert-manager logs deploy/cert-manager --tail=50

Cause fréquente : le port 80 ne mène plus à l'ingress, ou l'enregistrement DNS ne pointe plus vers le worker.

Common cause: port 80 no longer reaches the ingress, or the DNS record no longer points to the worker.

Mettre GitLab à jour

Upgrade GitLab

GitLab ne se met pas à jour d'un bond : il faut passer par chaque arrêt obligatoire publié par GitLab et laisser finir ses migrations en arrière-plan avant le suivant. Un script le fait sur la machine : il lit la liste officielle des arrêts et la version minimale de PostgreSQL, sauvegarde GitLab, installe chaque version exacte, attend que GitLab réponde et que ses migrations soient terminées, monte PostgreSQL quand l'étape suivante l'exige, et garde le paquet bloqué entre deux lancements pour qu'une mise à jour système ne saute jamais un arrêt. À la moindre erreur, il s'arrête ; relancé, il reprend où il en était, après avoir redémarré les services qu'une étape ratée aurait laissés arrêtés.

GitLab does not upgrade in one jump: it has to go through each required upgrade stop GitLab publishes, and let its background migrations finish before the next one. A script does it on the host: it reads the official list of stops and the minimum PostgreSQL version, backs GitLab up, installs each exact version, waits until GitLab answers and its migrations are done, upgrades PostgreSQL when the next step needs it, and keeps the package on hold between runs so that a system update never jumps over a stop. At the first error it stops; run again, it resumes where it was, after starting the services a failed step may have left stopped.

sudo upgrade-gitlab.sh                         # le plan, sans rien changer / the plan, changes nothing
sudo systemd-run --unit=gitlab-upgrade upgrade-gitlab.sh --apply --yes
sudo tail -f /var/log/gitlab-upgrade.log

Revenir à la version précédente

Roll back to the previous version

Les images sont taguées par commit, donc l'ancienne version est toujours dans le registre. rollout undo remet le ReplicaSet précédent, avec le même déploiement progressif sans coupure. Le pipeline suivant sur main redéploiera le dernier commit : corriger ou annuler le commit fautif par une merge request.

Images are tagged by commit, so the previous version is still in the registry. rollout undo brings back the previous ReplicaSet, with the same zero-downtime rolling update. The next pipeline on main will redeploy the latest commit: fix or revert the faulty commit through a merge request.

kubectl -n portfolio rollout history deploy/portfolio-web
kubectl -n portfolio rollout undo deploy/portfolio-web
kubectl -n portfolio rollout status deploy/portfolio-web

Un pod redémarre en boucle ou est tué (OOMKilled)

A pod restarts in a loop or gets killed (OOMKilled)

kubectl get pods -A | awk '$5 > 0'                 # colonne RESTARTS / RESTARTS column
kubectl -n <ns> describe pod <pod> | grep -A3 'Last State'
kubectl top pod -n <ns> --containers

Reason: OOMKilled : le conteneur a dépassé sa limite mémoire. Comparer avec la consommation réelle avant de remonter la limite, et vérifier qu'il reste de la place sur le nœud (kubectl describe node, section Allocated resources).

Reason: OOMKilled: the container went past its memory limit. Compare with real usage before raising the limit, and check there is room left on the node (kubectl describe node, Allocated resources).

La connexion SSO échoue (Grafana, GitLab, notes, board)

SSO sign-in fails (Grafana, GitLab, notes, board)

curl -s -o /dev/null -w '%{http_code}\n' https://auth.hoortrend.com/   # 200 attendu / expected
kubectl -n auth-lab get pods
kubectl -n auth-lab logs deploy/authserver --tail=50          # codes émis, refus, révocations / codes issued, refusals
kubectl -n monitoring logs deploy/monitoring-grafana -c grafana | grep -i oauth | tail
sudo grep -h openid_connect /var/log/gitlab/gitlab-rails/application_json.log | tail   # sur worker1 / on worker1

Exposer un nouveau sous-domaine

Expose a new subdomain

1. Créer l'enregistrement DNS A vers l'IP du worker.
2. Create the DNS A record to the worker's IP.
3. Écrire un Ingress avec l'annotation cert-manager.io/cluster-issuer: letsencrypt-prod et un bloc tls.
4. Write an Ingress with the cert-manager.io/cluster-issuer: letsencrypt-prod annotation and a tls block.
5. Vérifier : kubectl get certificate passe à True en quelques secondes.
6. Check: kubectl get certificate turns True within seconds.

Une alerte arrive par mail

An alert arrives by mail

1. Lire l'alerte dans Alertmanager ou sur la page Observabilité : son nom, son namespace et sa description disent quoi regarder.
2. Read the alert in Alertmanager or on the Observability page: its name, namespace and description say what to look at.
3. Si elle est attendue (une maintenance, un test), la faire taire pour une durée limitée avec amtool silence add et un commentaire ; si elle est vraie par construction, l'ajouter aux routes sans envoi de sre-alert-routing, par une MR.
4. If it is expected (maintenance, a test), silence it for a limited time with amtool silence add and a comment; if it is true by construction, add it to the no-send routes of sre-alert-routing, through a merge request.
5. Tester la chaîne : une alerte factice envoyée avec amtool alert add arrive en mail environ 30 s plus tard.
6. Test the chain: a fake alert sent with amtool alert add arrives by mail about 30 s later.

Un service doit être joignable depuis Internet sur worker1

A service must be reachable from the Internet on worker1

1. Préférer l'ingress : un sous-domaine en HTTPS ne demande aucun port de plus.
2. Prefer the ingress: an HTTPS subdomain needs no extra port.
3. Sinon, ajouter le port à TCP_OPEN ou UDP_OPEN dans le script du pare-feu (dépôt infra), par une MR, puis le réinstaller et lancer sudo systemctl restart hoortrend-firewall.
4. Otherwise, add the port to TCP_OPEN or UDP_OPEN in the firewall script (infra repository), through a merge request, then reinstall it and run sudo systemctl restart hoortrend-firewall.
5. Vérifier : sudo hoortrend-firewall status montre le compteur de la nouvelle règle qui monte.
6. Check: sudo hoortrend-firewall status shows the new rule's counter going up.