Към съдържанието
Съдържание на курса

Урок 28 — Един топик, една група на интеграция

От · съосновател и Chief Executive Officer на Hábil ·

Какво ще постигнеш: рутерът да спре да вика всеки канал и да чака отговора му. Вместо това публикува всяко събитие от жизнения цикъл на поръчката в един топик на Kafka, а всяка интеграция го чете със свое темпо. Ако партньорът е спрял за час, API-то и ERP продължават, а когато се върне, партньорът наваксва сам: никой не му препраща нищо.

Преди да започнеш, ти трябват: завършени уроци 12, 17 и 27 и включена средата от урок 00. И Kafka, която от днес се включва отделно (веднъж):

docker compose -f infra/compose.yaml --profile kafka up -d --wait

Новото днес, в едно изречение

До урок 27 рутерът говори с всеки канал по HTTP. Ако int-edi е спрял, рутерът опитва отново, отваря прекъсвача и накрая оставя операцията за съгласуване: някой трябва да направи rerun на ръка, когато int-edi се върне. Рутерът носи товара всеки канал да е вдигнат. Днес това се променя: рутерът публикува по едно събитие за всеки етап в топика ordenes, а всяка интеграция го чете, когато може. Две идеи правят това възможно: ключът на събитието и групата на всяка интеграция.

Картината: кварталният вестник. Разносвачът оставя по един брой във всяка къща, а не един за цялата улица. Ако в една къща са заминали на почивка, вестниците се трупат на вратата и когато се върнат, ги четат поред; останалите къщи не са чакали никого. А в къща с трима братя пристига един вестник: чете го този, който го грабне пръв, а не тримата.

В картината В курса
Вестникът за всеки ден Едно събитие: един етап от жизнения цикъл на една поръчка
Всяка къща Една група: int-rest, int-bd, int-edi
Братята в една къща 3-те реплики на int-bd, които споделят групата си
Вестниците, натрупани на вратата Това, което групата още не е прочела: Kafka ѝ го пази

1. Подготви папката си

cd lecciones/28-un-topico-un-grupo-por-integracion
cp -R inicio mio

От днес има нови части. Прочети ги, преди да пишеш:

Файл Какво прави Пишеш ли го?
orden-router/reparto.camel.yaml Вече не вика каналите: публикува събитие в топика ordenes Да, TODO 1
int-rest/kafka.camel.yaml, int-bd/…, int-edi/… Мостът на всяка интеграция: чете топика и предава събитието на обичайния ѝ маршрут (/integrar, /embarque, /entrega) Да, TODO 2
orden-router/desenlaces.camel.yaml Това, което е отговорил всеки канал, се връща през друг топик, desenlaces, и го чете само рутерът Не, прочети го

Това, което всеки канал прави със своята дестинация, не се е променило: променен е само начинът, по който работата стига до него. Рутерът остава единственият, който пише в базата на състоянието, и продължава да решава на кои канали се полага всяка поръчка (урок 11): събитието носи операцията и опита на всеки канал, на който се полага, а мост, който не намери своите, го пропуска.

Две неща, които се забелязват от днес:

  • Прекъсвачът на рутера (урок 22) вече го няма. Неговата работа беше да не настоява пред паднал канал; сега рутерът не говори с канала, така че няма пред кого да настоява. Kafka пази събитието, докато каналът го прочете.
  • Rerun-ът (урок 23) отговаря с 202 enviado („изпратено“) веднага щом Kafka получи събитието, а не когато каналът приключи.

Отвори infra/compose.yaml и намери KAFKA_NUM_PARTITIONS: 3, а в compose.yaml на урока — replicas: 3.

2. Предвиди

Отговори на лист хартия:

  1. Трите интеграции четат с една и съща група, integraciones. Колко от тях получават 4001?
  2. Ако int-edi е спрял и пристигнат 4002 и 4003, какво става с API-то и ERP? И какво става с 850-ките на партньора, когато int-edi се върне?
  3. Топикът има 3 дяла (partitions), а int-bd работи в 3 реплики. Ако едно събитие не носи ключ, могат ли събитията на една и съща поръчка да попаднат в различни дялове? Защо това би имало значение?

Виж какво е положението днес:

./verifica inicio

Първата отметка за доставка излиза в червено: 4001 стига до един от трите си канала, а другите два остават в enviada. С една-единствена група Kafka третира int-rest, int-bd и int-edi като три реплики на едно и също и дава всяко събитие само на една. И последната отметка също: нито едно събитие не носи поръчката като ключ.

3. Сложи ключа и раздели групите

TODO 1: ключът на събитието

В mio/orden-router/reparto.camel.yaml намери TODO 1, точно преди to: kafka:ordenes. Компонентът kafka на Camel взема ключа от хедъра CamelKafkaKey. Поръчката вече е в променливата orden:

- setHeader:
    name: CamelKafkaKey
    expression:
      simple:
        expression: "${variable.orden}"

Kafka праща в един и същ дял всичко, което носи един и същ ключ, а вътре в един дял последователността се спазва. Така creada, embarcada и entregada на 4001 се четат в последователността, в която са публикувани. Един дял го чете само една реплика от всяка група в даден момент: ако групата се ребалансира (една реплика падне или дойде друга), може да го продължи друга реплика, но в същата последователност. Без ключ всяко събитие пада където и да е и две различни реплики биха могли да обслужват две събития на една и съща поръчка, всяка със свое темпо.

TODO 2: една група на интеграция

В трите kafka.camel.yaml смени groupId: integraciones с името на интеграцията:

Файл groupId
mio/int-rest/kafka.camel.yaml int-rest
mio/int-bd/kafka.camel.yaml int-bd
mio/int-edi/kafka.camel.yaml int-edi

С това имаш двата начина на разпределяне, които дава Kafka, едновременно:

Между различни групи Между реплики на една и съща група
Кой получава едно събитие Всички групи, всяка своето копие Само една реплика
Шаблонът се нарича Publish-Subscribe Competing Consumers
В курса API-то, ERP и партньорът получават всяка поръчка На 3-те реплики на int-bd се разпределят 3-те дяла

Всяка група води собствена сметка докъде е прочела: offset-а. Затова спряла група не спира останалите, а когато се върне, продължава оттам, където е спряла.

4. Счупи едно нарочно

С твоята завършена версия махни setHeader за CamelKafkaKey и пусни ./verifica.

Преди това предвиди: трите интеграции имат своя група. Пристигат ли поръчките?

Пристигат и почти всички отметки излизат зелени. В червено излиза само последната: събитията вече не носят поръчката като ключ. С по една поръчка наведнъж не се забелязва нищо и затова тази грешка е коварна: появява се в деня, в който две събития на една и съща поръчка пристигнат заедно и две различни реплики на int-bd ги обслужат. Машината на състоянията от урок 17 паркира това, което пристига преди времето си, но ключът предотвратява това да се случи. Това, че днес работи, не доказва, че последователността е гарантирана. Върни ключа.

5. Провери

./verifica

verifica пресъздава Kafka празна, праща 4001 с всичко вдигнато, спира int-edi, праща 4002 и 4003, проверява, че API-то и ERP са продължили и че партньорът няма своите 850-ки, включва отново int-edi и изчаква да навакса. Накрая чете целия топик с отделен четец, за да провери ключа на всяко събитие. Урокът е завършен, когато видиш седемте зелени отметки:

✅ Arrancaron el router (que publica en Kafka), los tres canales con su puente y el sondeo
✅ La 4001 llegó por Kafka a sus tres canales: la API, el ERP y el socio
✅ Con int-edi detenido, la API y el ERP recibieron la 4002 y la 4003 (API 2 de 2, ERP 2 de 2)
✅ El socio todavía no tiene sus 850, y Kafka se los guarda: el grupo int-edi va 2 eventos atrás
✅ int-edi volvió y se puso al día solo: 2 archivos 850 en el socio, y el router no reenvió nada (2 intentos para 2 operaciones)
✅ Los tres grupos (int-rest, int-bd, int-edi) quedaron al día: 0 eventos por leer
✅ Los 3 eventos del tópico ordenes llevan la orden como llave

Прочети петата: 2 intentos para 2 operaciones (2 опита за 2 операции). До урок 27 паднал канал завършваше със съгласуване и rerun на ръка. Днес никой не направи нищо: int-edi прочете това, което Kafka му беше запазила.

Виж сам докъде е прочела всяка група, с вдигнати услуги:

docker compose -f ../../infra/compose.yaml exec kafka /opt/kafka/bin/kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 --describe --all-groups

Колоната LAG е това, което остава да прочете всяка група във всеки дял.

Не тръгва? ./verifica solucion тества нашето решение, а diff -r mio solucion ти казва по какво се различават.

Какво виждаш Какво правиш
Kafka no levantó Включи я на ръка с командата от „Преди да започнеш“ и опитай отново
A la base de estado le faltan tablas de lecciones anteriores Базата ти е отпреди: пресъздай я с командата, която носи съобщението (--force-recreate -V estado)
La 4001 no llegó a sus tres canales с някой в enviada Този канал няма собствена група: провери groupId в неговия kafka.camel.yaml
Con int-edi detenido, la API y el ERP debían seguir Провери groupId на int-rest и int-bd: ако споделят група с друг, си отнемат събитията един на друг
el grupo int-edi va -1 atrás Групата int-edi не съществува: int-edi чете с друго име на група
De … eventos del tópico ordenes, … llevan la orden como llave Липсва TODO 1 или setHeader е останал след to: kafka:ordenes
El puerto 8080 está ocupado Услугите от друго пускане са останали вдигнати: DONDE=mio docker compose -f compose.yaml down

Какво учи това извън курса

Да публикуваш не значи да извикаш. Който вика, има нужда другият да е вдигнат; който публикува, има нужда само топикът да е вдигнат. Рутерът спря да носи товара на наличността на всеки канал и точно това се нарича разкачване (decoupling).

Групата решава кой получава. Един и същ топик служи и за разпределяне на работа между реплики (една група), и за уведомяване на няколко системи (няколко групи). Да сбъркаш групата е най-честата грешка в началото с Kafka и тя не дава грешка: събитията просто стигат до друг.

Ключът решава последователността. Kafka не обещава последователност в целия топик, а само вътре в един дял. Ако нещо трябва да се чете поред, трябва да носи един и същ ключ.

Непрочетеното се пази. Спрял консуматор не губи нищо, докато Kafka съхранява събитието: когато се върне, продължава от своя offset. Това променя какво означава „партньорът беше паднал един час“.

Упражнение: кварталният вестник

  1. С вдигнати услуги спри int-bd (DONDE=mio docker compose -f compose.yaml stop int-bd), прати една поръчка и пусни командата с kafka-consumer-groups.sh. Коя група има LAG? Включи го и я пусни отново.
  2. На хартия: ако утре партньорът поиска да получава и известията за доставка, а някой от финансите иска нова система, която чете всички поръчки, колко групи има? Какво променяш в рутера заради новата система?
  3. На 3-те реплики на int-bd се разпределят 3 дяла. Какво би станало, ако пуснеш 5 реплики? (Подсказка: един дял го чете само една реплика от всяка група.)

Защо е направено така

Какво решихме в този урок, заедно с това, което отхвърлихме, и какво би ни накарало да си променим мнението:

  • Едно събитие за всеки етап в един топик, с поръчката като ключ, и една група консуматори на интеграция

Преговор

  1. Какво е топик и какво се променя за рутера, когато публикува, вместо да вика?
  2. Какво прави ключът на едно събитие? Защо ключът е поръчката?
  3. Каква е разликата между две реплики на една и съща група и две различни групи?
  4. Какво е offset и защо спряла група не спира останалите?
  5. Заключителният въпрос: партньорът беше спрял един час. Обясни стъпка по стъпка защо днес не беше нужен rerun, а до урок 27 — да.

Следва: в урок 29 проблемът се мести от другата страна: какво става, ако int-bd прочете едно събитие и не успее да остави своя резултат? Смята ли Kafka събитието за прочетено?

Да обсъдим вашия проект

Предпочитате имейл? Пишете ни на hola@habil.mx