Table des matières du cours
Leçon 28 — Un topic, un groupe par intégration
Par Dorian Chávez · cofondateur et Chief Executive Officer de Hábil ·
Ce que vous allez obtenir : que le routeur cesse d'appeler chaque canal et d'attendre sa réponse. À la place, il publie chaque événement du cycle de vie de la commande dans un topic Kafka, et chaque intégration le lit à son rythme. Si le partenaire est arrêté une heure, l'API et l'ERP continuent, et à son retour le partenaire rattrape son retard tout seul : personne ne lui renvoie rien.
Avant de commencer, il vous faut : les leçons 12, 17 et 27 terminées et l'environnement de la 00 allumé. Et Kafka, qui, à partir d'aujourd'hui, s'allume à part (une fois) :
docker compose -f infra/compose.yaml --profile kafka up -d --wait
La nouveauté du jour, en une phrase
Jusqu'à la 27, le routeur parle à chaque canal par HTTP. Si int-edi est arrêté, le routeur retente, ouvre le
coupe-circuit et finit par laisser l'opération en rapprochement : quelqu'un doit faire un rerun à la main quand int-edi
revient. Le routeur porte la charge de ce que chaque canal soit en marche. Aujourd'hui, cela change : le routeur publie un événement par événement du cycle de vie
dans le topic ordenes, et chaque intégration le lit quand elle le peut. Deux idées font que cela fonctionne : la clé de
l'événement et le groupe de chaque intégration.
L'image : le journal du quartier. Le livreur dépose un exemplaire dans chaque maison, pas un seul pour toute la rue. Si, dans une maison, on est parti en vacances, les journaux s'entassent devant la porte et, au retour, on les lit dans l'ordre ; les autres maisons n'ont attendu personne. Et dans une maison de trois frères et sœurs, il arrive un journal : le lit celui qui l'attrape le premier, pas les trois.
| Dans l'image | Dans le cours |
|---|---|
| Le journal de chaque jour | Un événement : un événement du cycle de vie d'une commande |
| Chaque maison | Un groupe : int-rest, int-bd, int-edi |
| Les frères et sœurs d'une maison | Les 3 répliques d'int-bd, qui partagent leur groupe |
| Les journaux entassés devant la porte | Ce que le groupe n'a pas encore lu : Kafka le lui garde |
1. Préparez votre dossier
cd lecciones/28-un-topico-un-grupo-por-integracion
cp -R inicio mio
À partir d'aujourd'hui, il y a des pièces nouvelles. Lisez-les avant d'écrire :
| Fichier | Ce qu'il fait | L'écrivez-vous ? |
|---|---|---|
orden-router/reparto.camel.yaml |
Il n'appelle plus les canaux : il publie un événement dans le topic ordenes |
Oui, le TODO 1 |
int-rest/kafka.camel.yaml, int-bd/…, int-edi/… |
Le pont de chaque intégration : il lit le topic et remet l'événement à sa route habituelle (/integrar, /embarque, /entrega) |
Oui, le TODO 2 |
orden-router/desenlaces.camel.yaml |
Ce qu'a répondu chaque canal revient par un autre topic, desenlaces, et seul le routeur le lit |
Non, lisez-le |
Ce que chaque canal fait avec sa destination n'a pas changé : seule a changé la façon dont le travail lui arrive. Le routeur reste le seul à écrire dans la base d'état, et il continue de décider quels canaux sont concernés par chaque commande (la 11) : l'événement porte l'opération et la tentative de chaque canal concerné, et un pont qui n'y trouve pas les siennes le laisse passer.
Deux choses qui se remarquent dès aujourd'hui :
- Le coupe-circuit du routeur (la 22) n'est plus là. Son travail était de ne pas insister auprès d'un canal en panne ; maintenant, le routeur ne parle plus au canal : il n'y a donc plus personne auprès de qui insister. Kafka garde l'événement jusqu'à ce que le canal le lise.
- Le rerun (la 23) répond
202«enviado» (envoyé) dès que Kafka a reçu l'événement, pas quand le canal a terminé.
Ouvrez infra/compose.yaml et cherchez KAFKA_NUM_PARTITIONS: 3, et dans le compose.yaml de la leçon, replicas: 3.
2. Prédisez
Répondez sur papier :
- Les trois intégrations lisent avec le même groupe,
integraciones. Combien d'entre elles reçoivent la 4001 ? - Si int-edi est arrêté et que la 4002 et la 4003 arrivent, que se passe-t-il pour l'API et l'ERP ? Et qu'arrive-t-il aux 850 du partenaire quand int-edi revient ?
- Le topic a 3 partitions et int-bd tourne en 3 répliques. Si un événement ne porte pas de clé, les événements du cycle de vie de la même commande peuvent-ils tomber dans des partitions différentes ? Pourquoi cela aurait-il de l'importance ?
Regardez l'état actuel :
./verifica inicio
La première coche de livraison sort en rouge : la 4001 arrive à un de ses trois canaux, et les deux autres restent en
enviada. Avec un seul groupe, Kafka traite int-rest, int-bd et int-edi comme trois répliques de la même chose, et donne chaque
événement à une seule. Et la dernière coche aussi : aucun événement ne porte la commande comme clé.
3. Posez la clé et séparez les groupes
TODO 1 : la clé de l'événement
Dans mio/orden-router/reparto.camel.yaml, cherchez le TODO 1, juste avant le to: kafka:ordenes. Le composant kafka
de Camel prend la clé dans l'en-tête CamelKafkaKey. La commande est déjà dans la variable orden :
- setHeader:
name: CamelKafkaKey
expression:
simple:
expression: "${variable.orden}"
Kafka envoie dans la même partition tout ce qui porte la même clé, et à l'intérieur d'une partition l'ordre est respecté. Ainsi, le creada, l'embarcada et l'entregada de la 4001 sont lus dans l'ordre où ils ont été publiés. Une partition est lue par une seule réplique de chaque groupe à la fois : si le groupe se rééquilibre (une réplique tombe ou une autre arrive), une autre réplique peut la reprendre, mais dans le même ordre. Sans clé, chaque événement tombe n'importe où, et deux répliques différentes pourraient traiter deux événements de la même commande, chacune à son rythme.
TODO 2 : un groupe par intégration
Dans les trois kafka.camel.yaml, remplacez groupId: integraciones par le nom de l'intégration :
| Fichier | groupId |
|---|---|
mio/int-rest/kafka.camel.yaml |
int-rest |
mio/int-bd/kafka.camel.yaml |
int-bd |
mio/int-edi/kafka.camel.yaml |
int-edi |
Avec cela, vous avez les deux façons de distribuer que donne Kafka, en même temps :
| Entre groupes différents | Entre répliques du même groupe | |
|---|---|---|
| Qui reçoit un événement | Tous les groupes, chacun sa copie | Une seule réplique |
| Le patron s'appelle | Publish-Subscribe | Competing Consumers |
| Dans le cours | L'API, l'ERP et le partenaire reçoivent chaque commande | Les 3 partitions sont attribuées aux 3 répliques d'int-bd |
Chaque groupe tient son propre compte de l'endroit jusqu'où il a lu : l'offset. C'est pour cela qu'un groupe arrêté n'arrête pas les autres, et qu'à son retour il reprend là où il s'était arrêté.
4. Cassez-en une exprès
Avec votre version terminée, retirez le setHeader de CamelKafkaKey et lancez ./verifica.
Avant cela, prédisez : les trois intégrations ont leur groupe. Les commandes arrivent-elles ?
Elles arrivent, et presque toutes les coches sortent vertes. Seule la dernière sort en rouge : les événements ne portent plus la commande comme clé. Avec une commande à la fois, on ne remarque rien, et c'est ce qui rend cette erreur traîtresse : elle apparaît le jour où deux événements de la même commande arrivent ensemble et où deux répliques différentes d'int-bd les traitent. La machine à états de la 17 gare celui qui arrive trop tôt, mais la clé évite que cela se produise. Que cela fonctionne aujourd'hui ne prouve pas que l'ordre soit garanti. Remettez la clé.
5. Vérifiez
./verifica
verifica recrée un Kafka vide, envoie la 4001 avec tout en marche, arrête int-edi, envoie la 4002 et la 4003, contrôle
que l'API et l'ERP ont continué et que le partenaire n'a pas ses 850, rallume int-edi et attend qu'il rattrape son
retard. À la fin, il lit le topic en entier avec un lecteur à part pour contrôler la clé de chaque événement. Elle est terminée quand
vous voyez les sept coches vertes :
✅ Arrancaron el router (que publica en Kafka), los tres canales con su puente y el sondeo
✅ La 4001 llegó por Kafka a sus tres canales: la API, el ERP y el socio
✅ Con int-edi detenido, la API y el ERP recibieron la 4002 y la 4003 (API 2 de 2, ERP 2 de 2)
✅ El socio todavía no tiene sus 850, y Kafka se los guarda: el grupo int-edi va 2 eventos atrás
✅ int-edi volvió y se puso al día solo: 2 archivos 850 en el socio, y el router no reenvió nada (2 intentos para 2 operaciones)
✅ Los tres grupos (int-rest, int-bd, int-edi) quedaron al día: 0 eventos por leer
✅ Los 3 eventos del tópico ordenes llevan la orden como llave
Lisez la cinquième : « 2 intentos para 2 operaciones ». Jusqu'à la 27, un canal en panne finissait en rapprochement, avec un rerun à la main. Aujourd'hui, personne n'a rien fait : int-edi a lu ce que Kafka lui avait gardé.
Regardez vous-même où en est la lecture de chaque groupe, avec les services en marche :
docker compose -f ../../infra/compose.yaml exec kafka /opt/kafka/bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 --describe --all-groups
La colonne LAG est ce qu'il reste à lire à chaque groupe dans chaque partition.
Ça ne tourne pas ? ./verifica solucion teste la nôtre, et diff -r mio solucion vous dit en quoi elles diffèrent.
| Ce que vous voyez | Ce que vous faites |
|---|---|
Kafka no levantó |
Allumez-le à la main avec la commande de « Avant de commencer » et réessayez |
A la base de estado le faltan tablas de lecciones anteriores |
Votre base date d'avant : recréez-la avec la commande que donne le message (--force-recreate -V estado) |
La 4001 no llegó a sus tres canales avec l'un d'eux en enviada |
Ce canal n'a pas son propre groupe : vérifiez le groupId de son kafka.camel.yaml |
Con int-edi detenido, la API y el ERP debían seguir |
Vérifiez le groupId d'int-rest et d'int-bd : s'ils partagent un groupe avec un autre, ils se prennent les événements entre eux |
el grupo int-edi va -1 atrás |
Le groupe int-edi n'existe pas : int-edi lit avec un autre nom de groupe |
De … eventos del tópico ordenes, … llevan la orden como llave |
Il manque le TODO 1, ou le setHeader s'est retrouvé après le to: kafka:ordenes |
El puerto 8080 está ocupado |
Les services d'une autre exécution sont restés en marche : DONDE=mio docker compose -f compose.yaml down |
Ce que cela enseigne au-delà du cours
Publier n'est pas appeler. Celui qui appelle a besoin que l'autre soit en marche ; celui qui publie a seulement besoin que le topic soit en marche. Le routeur a cessé de porter la disponibilité de chaque canal, et c'est ce qu'on appelle découpler.
Le groupe décide qui reçoit. Le même topic sert à répartir du travail entre des répliques (un groupe) et à prévenir plusieurs systèmes (plusieurs groupes). Se tromper de groupe est l'erreur la plus courante quand on débute avec Kafka, et elle ne produit pas d'erreur : les événements arrivent simplement à un autre.
La clé décide de l'ordre. Kafka ne promet pas l'ordre sur tout le topic, seulement à l'intérieur d'une partition. Si quelque chose doit être lu dans l'ordre, cela doit porter la même clé.
Ce qui n'a pas été lu est conservé. Un consommateur arrêté ne perd rien tant que Kafka conserve l'événement : à son retour, il reprend à partir de son offset. Cela change ce que signifie « le partenaire a été en panne une heure ».
Exercice : le journal du quartier
- Avec vos services en marche, arrêtez int-bd (
DONDE=mio docker compose -f compose.yaml stop int-bd), envoyez une commande et lancez la commandekafka-consumer-groups.sh. Quel groupe a duLAG? Rallumez-le et relancez-la. - Sur papier : si demain le partenaire demande à recevoir aussi les avis de livraison, et que quelqu'un des finances veut un nouveau système qui lise toutes les commandes, combien de groupes y a-t-il ? Que changez-vous dans le routeur pour le nouveau système ?
- Les 3 partitions sont attribuées aux 3 répliques d'int-bd. Que se passerait-il si vous faisiez tourner 5 répliques ? (Indice : une partition est lue par une seule réplique de chaque groupe.)
Pourquoi on a fait ainsi
Ce que nous avons décidé dans cette leçon, avec ce que nous avons écarté et ce qui nous ferait changer d'avis :
- Un événement par événement du cycle de vie dans un topic, avec la commande comme clé, et un groupe de consommateurs par intégration
Révision
- Qu'est-ce qu'un topic, et qu'est-ce qui change pour le routeur quand il publie au lieu d'appeler ?
- Que fait la clé d'un événement ? Pourquoi la clé est-elle la commande ?
- Quelle différence y a-t-il entre deux répliques du même groupe et deux groupes différents ?
- Qu'est-ce que l'offset, et pourquoi un groupe arrêté n'arrête-t-il pas les autres ?
- La question de clôture : le partenaire a été arrêté une heure. Expliquez, étape par étape, pourquoi aujourd'hui il n'a pas fallu de rerun alors que jusqu'à la 27 il en fallait un.
Suite : dans la leçon 29, le problème passe de l'autre côté : que se passe-t-il si int-bd lit un événement et n'a pas le temps de laisser son issue ? Kafka tient-il l'événement pour lu ?
Vous préférez l'e-mail ? Écrivez-nous à hola@habil.mx