Съдържание на курса
Урок 28 — Един топик, една група на интеграция
От Dorian Chávez · съосновател и Chief Executive Officer на Hábil ·
Какво ще постигнеш: рутерът да спре да вика всеки канал и да чака отговора му. Вместо това публикува всяко събитие от жизнения цикъл на поръчката в един топик на Kafka, а всяка интеграция го чете със свое темпо. Ако партньорът е спрял за час, API-то и ERP продължават, а когато се върне, партньорът наваксва сам: никой не му препраща нищо.
Преди да започнеш, ти трябват: завършени уроци 12, 17 и 27 и включена средата от урок 00. И Kafka, която от днес се включва отделно (веднъж):
docker compose -f infra/compose.yaml --profile kafka up -d --wait
Новото днес, в едно изречение
До урок 27 рутерът говори с всеки канал по HTTP. Ако int-edi е спрял, рутерът опитва отново, отваря
прекъсвача и накрая оставя операцията за съгласуване: някой трябва да направи rerun на ръка, когато int-edi
се върне. Рутерът носи товара всеки канал да е вдигнат. Днес това се променя: рутерът публикува по едно събитие за всеки етап
в топика ordenes, а всяка интеграция го чете, когато може. Две идеи правят това възможно: ключът на
събитието и групата на всяка интеграция.
Картината: кварталният вестник. Разносвачът оставя по един брой във всяка къща, а не един за цялата улица. Ако в една къща са заминали на почивка, вестниците се трупат на вратата и когато се върнат, ги четат поред; останалите къщи не са чакали никого. А в къща с трима братя пристига един вестник: чете го този, който го грабне пръв, а не тримата.
| В картината | В курса |
|---|---|
| Вестникът за всеки ден | Едно събитие: един етап от жизнения цикъл на една поръчка |
| Всяка къща | Една група: int-rest, int-bd, int-edi |
| Братята в една къща | 3-те реплики на int-bd, които споделят групата си |
| Вестниците, натрупани на вратата | Това, което групата още не е прочела: Kafka ѝ го пази |
1. Подготви папката си
cd lecciones/28-un-topico-un-grupo-por-integracion
cp -R inicio mio
От днес има нови части. Прочети ги, преди да пишеш:
| Файл | Какво прави | Пишеш ли го? |
|---|---|---|
orden-router/reparto.camel.yaml |
Вече не вика каналите: публикува събитие в топика ordenes |
Да, TODO 1 |
int-rest/kafka.camel.yaml, int-bd/…, int-edi/… |
Мостът на всяка интеграция: чете топика и предава събитието на обичайния ѝ маршрут (/integrar, /embarque, /entrega) |
Да, TODO 2 |
orden-router/desenlaces.camel.yaml |
Това, което е отговорил всеки канал, се връща през друг топик, desenlaces, и го чете само рутерът |
Не, прочети го |
Това, което всеки канал прави със своята дестинация, не се е променило: променен е само начинът, по който работата стига до него. Рутерът остава единственият, който пише в базата на състоянието, и продължава да решава на кои канали се полага всяка поръчка (урок 11): събитието носи операцията и опита на всеки канал, на който се полага, а мост, който не намери своите, го пропуска.
Две неща, които се забелязват от днес:
- Прекъсвачът на рутера (урок 22) вече го няма. Неговата работа беше да не настоява пред паднал канал; сега рутерът не говори с канала, така че няма пред кого да настоява. Kafka пази събитието, докато каналът го прочете.
- Rerun-ът (урок 23) отговаря с
202enviado(„изпратено“) веднага щом Kafka получи събитието, а не когато каналът приключи.
Отвори infra/compose.yaml и намери KAFKA_NUM_PARTITIONS: 3, а в compose.yaml на урока — replicas: 3.
2. Предвиди
Отговори на лист хартия:
- Трите интеграции четат с една и съща група,
integraciones. Колко от тях получават 4001? - Ако int-edi е спрял и пристигнат 4002 и 4003, какво става с API-то и ERP? И какво става с 850-ките на партньора, когато int-edi се върне?
- Топикът има 3 дяла (partitions), а int-bd работи в 3 реплики. Ако едно събитие не носи ключ, могат ли събитията на една и съща поръчка да попаднат в различни дялове? Защо това би имало значение?
Виж какво е положението днес:
./verifica inicio
Първата отметка за доставка излиза в червено: 4001 стига до един от трите си канала, а другите два остават в
enviada. С една-единствена група Kafka третира int-rest, int-bd и int-edi като три реплики на едно и също и дава всяко
събитие само на една. И последната отметка също: нито едно събитие не носи поръчката като ключ.
3. Сложи ключа и раздели групите
TODO 1: ключът на събитието
В mio/orden-router/reparto.camel.yaml намери TODO 1, точно преди to: kafka:ordenes. Компонентът kafka
на Camel взема ключа от хедъра CamelKafkaKey. Поръчката вече е в променливата orden:
- setHeader:
name: CamelKafkaKey
expression:
simple:
expression: "${variable.orden}"
Kafka праща в един и същ дял всичко, което носи един и същ ключ, а вътре в един дял последователността се спазва. Така creada, embarcada и entregada на 4001 се четат в последователността, в която са публикувани. Един дял го чете само една реплика от всяка група в даден момент: ако групата се ребалансира (една реплика падне или дойде друга), може да го продължи друга реплика, но в същата последователност. Без ключ всяко събитие пада където и да е и две различни реплики биха могли да обслужват две събития на една и съща поръчка, всяка със свое темпо.
TODO 2: една група на интеграция
В трите kafka.camel.yaml смени groupId: integraciones с името на интеграцията:
| Файл | groupId |
|---|---|
mio/int-rest/kafka.camel.yaml |
int-rest |
mio/int-bd/kafka.camel.yaml |
int-bd |
mio/int-edi/kafka.camel.yaml |
int-edi |
С това имаш двата начина на разпределяне, които дава Kafka, едновременно:
| Между различни групи | Между реплики на една и съща група | |
|---|---|---|
| Кой получава едно събитие | Всички групи, всяка своето копие | Само една реплика |
| Шаблонът се нарича | Publish-Subscribe | Competing Consumers |
| В курса | API-то, ERP и партньорът получават всяка поръчка | На 3-те реплики на int-bd се разпределят 3-те дяла |
Всяка група води собствена сметка докъде е прочела: offset-а. Затова спряла група не спира останалите, а когато се върне, продължава оттам, където е спряла.
4. Счупи едно нарочно
С твоята завършена версия махни setHeader за CamelKafkaKey и пусни ./verifica.
Преди това предвиди: трите интеграции имат своя група. Пристигат ли поръчките?
Пристигат и почти всички отметки излизат зелени. В червено излиза само последната: събитията вече не носят поръчката като ключ. С по една поръчка наведнъж не се забелязва нищо и затова тази грешка е коварна: появява се в деня, в който две събития на една и съща поръчка пристигнат заедно и две различни реплики на int-bd ги обслужат. Машината на състоянията от урок 17 паркира това, което пристига преди времето си, но ключът предотвратява това да се случи. Това, че днес работи, не доказва, че последователността е гарантирана. Върни ключа.
5. Провери
./verifica
verifica пресъздава Kafka празна, праща 4001 с всичко вдигнато, спира int-edi, праща 4002 и 4003, проверява,
че API-то и ERP са продължили и че партньорът няма своите 850-ки, включва отново int-edi и изчаква да
навакса. Накрая чете целия топик с отделен четец, за да провери ключа на всяко събитие. Урокът е завършен, когато
видиш седемте зелени отметки:
✅ Arrancaron el router (que publica en Kafka), los tres canales con su puente y el sondeo
✅ La 4001 llegó por Kafka a sus tres canales: la API, el ERP y el socio
✅ Con int-edi detenido, la API y el ERP recibieron la 4002 y la 4003 (API 2 de 2, ERP 2 de 2)
✅ El socio todavía no tiene sus 850, y Kafka se los guarda: el grupo int-edi va 2 eventos atrás
✅ int-edi volvió y se puso al día solo: 2 archivos 850 en el socio, y el router no reenvió nada (2 intentos para 2 operaciones)
✅ Los tres grupos (int-rest, int-bd, int-edi) quedaron al día: 0 eventos por leer
✅ Los 3 eventos del tópico ordenes llevan la orden como llave
Прочети петата: 2 intentos para 2 operaciones (2 опита за 2 операции). До урок 27 паднал канал завършваше със съгласуване и rerun на
ръка. Днес никой не направи нищо: int-edi прочете това, което Kafka му беше запазила.
Виж сам докъде е прочела всяка група, с вдигнати услуги:
docker compose -f ../../infra/compose.yaml exec kafka /opt/kafka/bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 --describe --all-groups
Колоната LAG е това, което остава да прочете всяка група във всеки дял.
Не тръгва? ./verifica solucion тества нашето решение, а diff -r mio solucion ти казва по какво се различават.
| Какво виждаш | Какво правиш |
|---|---|
Kafka no levantó |
Включи я на ръка с командата от „Преди да започнеш“ и опитай отново |
A la base de estado le faltan tablas de lecciones anteriores |
Базата ти е отпреди: пресъздай я с командата, която носи съобщението (--force-recreate -V estado) |
La 4001 no llegó a sus tres canales с някой в enviada |
Този канал няма собствена група: провери groupId в неговия kafka.camel.yaml |
Con int-edi detenido, la API y el ERP debían seguir |
Провери groupId на int-rest и int-bd: ако споделят група с друг, си отнемат събитията един на друг |
el grupo int-edi va -1 atrás |
Групата int-edi не съществува: int-edi чете с друго име на група |
De … eventos del tópico ordenes, … llevan la orden como llave |
Липсва TODO 1 или setHeader е останал след to: kafka:ordenes |
El puerto 8080 está ocupado |
Услугите от друго пускане са останали вдигнати: DONDE=mio docker compose -f compose.yaml down |
Какво учи това извън курса
Да публикуваш не значи да извикаш. Който вика, има нужда другият да е вдигнат; който публикува, има нужда само топикът да е вдигнат. Рутерът спря да носи товара на наличността на всеки канал и точно това се нарича разкачване (decoupling).
Групата решава кой получава. Един и същ топик служи и за разпределяне на работа между реплики (една група), и за уведомяване на няколко системи (няколко групи). Да сбъркаш групата е най-честата грешка в началото с Kafka и тя не дава грешка: събитията просто стигат до друг.
Ключът решава последователността. Kafka не обещава последователност в целия топик, а само вътре в един дял. Ако нещо трябва да се чете поред, трябва да носи един и същ ключ.
Непрочетеното се пази. Спрял консуматор не губи нищо, докато Kafka съхранява събитието: когато се върне, продължава от своя offset. Това променя какво означава „партньорът беше паднал един час“.
Упражнение: кварталният вестник
- С вдигнати услуги спри int-bd (
DONDE=mio docker compose -f compose.yaml stop int-bd), прати една поръчка и пусни командата сkafka-consumer-groups.sh. Коя група имаLAG? Включи го и я пусни отново. - На хартия: ако утре партньорът поиска да получава и известията за доставка, а някой от финансите иска нова система, която чете всички поръчки, колко групи има? Какво променяш в рутера заради новата система?
- На 3-те реплики на int-bd се разпределят 3 дяла. Какво би станало, ако пуснеш 5 реплики? (Подсказка: един дял го чете само една реплика от всяка група.)
Защо е направено така
Какво решихме в този урок, заедно с това, което отхвърлихме, и какво би ни накарало да си променим мнението:
- Едно събитие за всеки етап в един топик, с поръчката като ключ, и една група консуматори на интеграция
Преговор
- Какво е топик и какво се променя за рутера, когато публикува, вместо да вика?
- Какво прави ключът на едно събитие? Защо ключът е поръчката?
- Каква е разликата между две реплики на една и съща група и две различни групи?
- Какво е offset и защо спряла група не спира останалите?
- Заключителният въпрос: партньорът беше спрял един час. Обясни стъпка по стъпка защо днес не беше нужен rerun, а до урок 27 — да.
Следва: в урок 29 проблемът се мести от другата страна: какво става, ако int-bd прочете едно събитие и не успее да остави своя резултат? Смята ли Kafka събитието за прочетено?
Предпочитате имейл? Пишете ни на hola@habil.mx