Към съдържанието
Съдържание на курса

Урок 30 — Без загуби при публикуване

От · съосновател и Chief Executive Officer на Hábil ·

Какво ще постигнеш: да затвориш последната пролука в курса. Ако Kafka е паднала точно когато пристига една поръчка, поръчката се записва, магазинът получава своето 202 и когато Kafka се върне, поръчката излиза сама към трите си канала, без някой да прави rerun.

Преди да започнеш, ти трябват: завършени уроци 17 и 29, включена средата от урок 00 и вдигната Kafka (docker compose -f infra/compose.yaml --profile kafka up -d --wait).

Новото днес, в едно изречение

От урок 28 рутерът прави две неща едно след друго: записва поръчката в базата на състоянието и после публикува събитието в Kafka. Това са две различни системи и никоя транзакция не обхваща и двете. Ако Kafka е паднала в този миг, поръчката е записана и магазинът вече има своето 202, но събитието не е излязло и никой не го опитва отново. Обратното също не върши работа: да публикуваш, преди да запишеш, оставя събитие за поръчка, която, ако базата се провали, не съществува. Днес рутерът записва това, което трябва да се публикува, в същата транзакция като поръчката, в таблица, наречена outbox, а един polling го публикува, когато Kafka може да го приеме. Шаблонът се нарича Transactional Outbox.

Картината: тавичката „за изпращане“ в един офис. Този, който обслужва клиента, не хуква към куриерската фирма с всеки плик: попълва формуляра и в същия миг оставя плика в тавичката. Куриерът минава от време на време и взема каквото има. Ако един ден куриерската фирма е затворена, пликовете остават в тавичката, а не в нечий джоб, и излизат, когато отвори.

antes:  guardar (transacción) → 202 → publicar en Kafka           ← si Kafka está caído aquí, se pierde
hoy:    guardar orden + operaciones + outbox (UNA transacción) → 202
        cada 1 s: outbox pendiente → publicar → ¿Kafka lo recibió? sí → «publicado» · no → espera la siguiente vuelta

1. Подготви папката си

cd lecciones/30-no-perder-al-publicar
cp -R inicio mio

Отвори infra/postgres/01-estado.sql и намери CREATE TABLE outbox: всеки ред сочи към една operacion и има колона publicado, празна, докато Kafka не получи събитието.

Polling-ът вече е направен: това е маршрутът sondeo-outbox в mio/orden-router/reparto.camel.yaml. Прочети го. Всяка секунда взема чакащото в реда, в който е влязло, и ако нещо не излезе, следващото чака до следващата обиколка (stopOnException): така нещата на една и съща поръчка не излизат разбъркано. Обхождането от урок 17 вече оставя в outbox това, което освобождава.

Твоята работа е в два файла:

TODO Файл Какво правиш
1 mio/orden-router/estado.camel.yaml При записване на нова поръчка оставяш в outbox по един ред за всяка операция (събитие creada)
2 Същият При записване на ново събитие (пратка, доставка) — същото за операциите, които са се родили pendiente
3 mio/orden-router/orden-router.camel.yaml Махаш директното изпращане към seda:repartir: от днес публикува само outbox

2. Предвиди

Отговори на лист хартия:

  1. С версията от урок 29 Kafka е паднала и пристигат 4002 и 4003. Получава ли магазинът своето 202? Колко реда има в outbox? Какво става с поръчките, когато Kafka се върне?
  2. Защо редът в outbox трябва да се запише в същата транзакция като операцията, а не точно след нея?
  3. Ако оставиш директното изпращане и освен това outbox, какво става с всяко събитие? Би ли го създало API-то два пъти?

Виж какво е положението днес:

./verifica inicio

При паднала Kafka рутерът записва двете поръчки и отговаря с 202, но outbox остава празен. Когато Kafka се върне, 6-те операции продължават да чакат: никой не ги праща отново.

3. Тавичката „за изпращане“

TODO 1: новата поръчка

В mio/orden-router/estado.camel.yaml намери TODO 1. То е вътре в транзакцията, която записва поръчката и нейните операции. Точно там един INSERT … SELECT оставя по един ред за всяка току-що записана операция:

- to:
    uri: "sql:INSERT INTO outbox (operacion) SELECT id FROM operacion WHERE orden = :#${variable.orden} AND momento = 'creada' ORDER BY id"
    parameters:
      dataSource: "#estado"

ORDER BY id прави така, че редовете да влизат в реда, в който са се родили операциите, а polling-ът публикува в този ред.

TODO 2: ново събитие

По-долу, в същата транзакция, която записва пратката или доставката, е TODO 2. Това е същият INSERT, с две разлики:

TODO 1 TODO 2
Кое събитие 'creada' :#${variable.momento}
Кои операции Всички Само тези, които са се родили pendiente: AND estado = 'pendiente'

Защо само чакащите? Защото тези в estacionada (урок 17) още не могат да излязат. Тях ги оставя в outbox обхождането, когато ги освободи.

TODO 3: един-единствен път

В mio/orden-router/orden-router.camel.yaml, в маршрута contestar-y-repartir, махни стъпката to: seda:repartir. Ако я оставиш, всяко събитие излиза по два пътя: директния и outbox. API-то би го разпознало по ключа си (урок 18), но всеки канал би получил две събития и рутерът би записал два опита. Един-единствен път е по-лесен за обясняване и за проследяване.

4. Счупи едно нарочно

С твоята завършена версия изтрий INSERT-а от TODO 1 и пусни ./verifica.

Преди това предвиди: Kafka е вдигната в началото. Пристига ли 4001?

Не. Скриптът verifica спира на втората отметка: 4001 не стига до нито един от каналите си. Вече махна директното изпращане (TODO 3), така че outbox е единственият път и поръчка, която не остави своя ред, не я публикува никой. Преди outbox „Kafka е вдигната“ стигаше; сега това, което решава, е записаният ред. Върни го.

5. Провери

./verifica

verifica праща 4001 с всичко вдигнато, спира Kafka, праща 4002 и 4003, проверява outbox и API-то в продължение на няколко секунди, вдига отново Kafka и изчаква всичко да излезе. Урокът е завършен, когато видиш осемте зелени отметки:

✅ Arrancaron el router, los tres canales con su puente y el sondeo
✅ La 4001 llegó a sus tres canales
✅ Con Kafka caído, el router guardó la 4002 y la 4003 y contestó 202 a las dos
✅ En el outbox esperan 6 filas sin publicar, una por operación de la 4002 y la 4003
✅ Control: mientras Kafka está caído, la API no tiene ninguna de las dos
✅ Kafka volvió y lo guardado salió solo: la API, el ERP y el socio tienen la 4002 y la 4003
✅ En la API se creó cada una UNA vez (2 creaciones para 2 órdenes)
✅ El outbox quedó sin pendientes: todo lo que se guardó, salió

Петата е контрола: ако при паднала Kafka API-то вече имаше поръчките, шестата отметка нямаше да доказва, че outbox ги е извадил.

Виж сам outbox, с вдигнати услуги:

docker compose -f ../../infra/compose.yaml exec estado psql -U router -d estado \
  -c "SELECT x.id, p.orden, p.canal, x.publicado FROM outbox x JOIN operacion p ON p.id = x.operacion ORDER BY x.id"

Не тръгва? ./verifica solucion тества нашето решение, а diff -r mio solucion ти казва по какво се различават.

Какво виждаш Какво правиш
A la base de estado le falta la tabla outbox Базата ти е отпреди урок 30: пресъздай я с командата, която носи съобщението (--force-recreate -V estado)
La 4001 no llegó a sus tres canales Липсва TODO 1: с направено TODO 3, без ред в outbox не се публикува нищо
En el outbox esperaba 6 filas sin publicar … y hay 0 INSERT-ът от TODO 1 не се изпълнява: провери дали е вътре в транзакцията, след записването на операциите
Kafka volvió y lo guardado no salió Виж кой канал в какво състояние е останал (казва го съобщението) и провери маршрута sondeo-outbox в лога на рутера
En la API hubo … creaciones para 2 órdenes API-то е създало някоя два пъти: променил ли си ключа, който int-rest му праща? (урок 18)
El outbox tiene … filas sin publicar Нещо е заседнало: провери лога на рутера, под sondeo-outbox
El puerto 8080 está ocupado Услугите от друго пускане са останали вдигнати: DONDE=mio docker compose -f compose.yaml down

Какво учи това извън курса

Две системи не споделят една транзакция. Базата и Kafka потвърждават всяка своето. Ако едно действие трябва да остане и в двете, записва се само в едната (базата, заедно с поръчката), а другата се захранва оттам.

Записаното е това, което излиза. Polling-ът публикува това, което казва outbox, като чете базата. Ако рутерът се рестартира по средата, редът си стои там.

Да публикуваш повече се търпи; да публикуваш по-малко — не. Ако рутерът падне по средата на изпращането или след като е публикувал и преди да отбележи publicado, редът излиза отново. Затова този, който чете, трябва да разпознава повторения (уроци 18 и 29). Загубата на събитие, обратно, не я забелязва никой, докато някой клиент не се оплаче.

Един-единствен път. Да държиш директното изпращане „за всеки случай“ до outbox дублира всичко и не поправя нищо: outbox вече покрива случая, в който Kafka е вдигната.

Упражнение: тавичката

  1. Спри Kafka с вдигнати услуги, прати една поръчка и пусни заявката от стъпка 5. Какво казва колоната publicado? Вдигни Kafka и я пусни отново.
  2. На хартия: рутерът записа поръчката и нейния ред в outbox, polling-ът я публикува и рутерът падна, преди да отбележи publicado. Какво става, когато се върне? Коя част пречи на API-то да я създаде два пъти?
  3. Направи списък на начините да загубиш една поръчка, които видя в курса (магазинът, който не получава 202, падналият ERP, 997, който не пристига, потвърденото събитие без резултат…). До всеки — урокът, който го затваря.

Защо е направено така

Какво решихме в този урок, заедно с това, което отхвърлихме, и какво би ни накарало да си променим мнението:

  • Това, което трябва да се публикува, се записва в същата транзакция (outbox), а един polling го публикува

Преговор

  1. Каква пролука остава между записването и публикуването и защо не се оправя, като се публикува първо?
  2. Какво пази таблицата outbox и в коя транзакция се записва?
  3. Защо TODO 2 оставя навън операциите в estacionada?
  4. Какво би станало, ако оставиш директното изпращане до outbox?
  5. Заключителният въпрос: един магазин праща поръчка при паднала Kafka. Разкажи стъпка по стъпка какво става от 202 до момента, в който партньорът има своята 850-ка, и в кои таблици остава следа.

Следва: с този урок свършва курсът върху Docker Compose. Ако екипът ти работи с Kubernetes или иска да види интеграцията без контейнери, приложението (уроци 31 и 32) е за четене и е незадължително.


Какво прави Hábil

В края на този курс:

  • повторено известие не дублира нищо;
  • ако не се знае дали нещо е пристигнало, то остава за съгласуване, вместо да се смята за провалено;
  • оставеното не се смята за потвърдено, докато партньорът не потвърди получаването;
  • един паднал канал не спира останалите;
  • всяка дестинация получава само толкова извиквания, колкото издържа;
  • всяка поръчка може да се проследи, без да се показват лични данни.

В една фирма това обикновено звучи така: „Не знаем дали тази операция е пристигнала. Опитва се отново на ръка и понякога се дублира“. А има и повреди, които не отбелязват грешка: изпращането е излязло, но отговорът така и не е пристигнал.

В Hábil изграждаме по мярка интеграцията между вашия магазин, вашия ERP, вашите партньори и вашите канали. Hábil MDW е проектирана да работи 24/7, с одитна следа за всяка операция: какво е пратено към всяка система, какво е отговорила тя, в колко часа и, ако се е провалила, защо. Всяко изпращане остава със своя отговор или със своята причина за провал, а повторните опити са проектирани така, че да не повтарят ефекта. Изпращане, което е минало зле, го опитва отново вашият оперативен екип като ново изпращане, със следа кой го е направил и без да се пипа базата данни на ръка.

Поискайте своя първи разговор, без разходи.

Да обсъдим вашия проект

Предпочитате имейл? Пишете ни на hola@habil.mx