Съдържание на курса
Урок 30 — Без загуби при публикуване
От Dorian Chávez · съосновател и Chief Executive Officer на Hábil ·
Какво ще постигнеш: да затвориш последната пролука в курса. Ако Kafka е паднала точно когато пристига една поръчка, поръчката се записва, магазинът получава своето
202и когато Kafka се върне, поръчката излиза сама към трите си канала, без някой да прави rerun.
Преди да започнеш, ти трябват: завършени уроци 17 и 29, включена средата от урок 00 и вдигната Kafka
(docker compose -f infra/compose.yaml --profile kafka up -d --wait).
Новото днес, в едно изречение
От урок 28 рутерът прави две неща едно след друго: записва поръчката в базата на състоянието и после публикува
събитието в Kafka. Това са две различни системи и никоя транзакция не обхваща и двете. Ако Kafka е паднала в този
миг, поръчката е записана и магазинът вече има своето 202, но събитието не е излязло и никой не го опитва
отново. Обратното също не върши работа: да публикуваш, преди да запишеш, оставя събитие за поръчка, която, ако базата се провали, не
съществува. Днес рутерът записва това, което трябва да се публикува, в същата транзакция като поръчката, в таблица, наречена
outbox, а един polling го публикува, когато Kafka може да го приеме. Шаблонът се нарича Transactional Outbox.
Картината: тавичката „за изпращане“ в един офис. Този, който обслужва клиента, не хуква към куриерската фирма с всеки плик: попълва формуляра и в същия миг оставя плика в тавичката. Куриерът минава от време на време и взема каквото има. Ако един ден куриерската фирма е затворена, пликовете остават в тавичката, а не в нечий джоб, и излизат, когато отвори.
antes: guardar (transacción) → 202 → publicar en Kafka ← si Kafka está caído aquí, se pierde
hoy: guardar orden + operaciones + outbox (UNA transacción) → 202
cada 1 s: outbox pendiente → publicar → ¿Kafka lo recibió? sí → «publicado» · no → espera la siguiente vuelta
1. Подготви папката си
cd lecciones/30-no-perder-al-publicar
cp -R inicio mio
Отвори infra/postgres/01-estado.sql и намери CREATE TABLE outbox: всеки ред сочи към една operacion и има
колона publicado, празна, докато Kafka не получи събитието.
Polling-ът вече е направен: това е маршрутът sondeo-outbox в mio/orden-router/reparto.camel.yaml. Прочети го. Всяка секунда
взема чакащото в реда, в който е влязло, и ако нещо не излезе, следващото чака до следващата обиколка
(stopOnException): така нещата на една и съща поръчка не излизат разбъркано. Обхождането от урок 17 вече оставя в outbox това, което
освобождава.
Твоята работа е в два файла:
| TODO | Файл | Какво правиш |
|---|---|---|
| 1 | mio/orden-router/estado.camel.yaml |
При записване на нова поръчка оставяш в outbox по един ред за всяка операция (събитие creada) |
| 2 | Същият | При записване на ново събитие (пратка, доставка) — същото за операциите, които са се родили pendiente |
| 3 | mio/orden-router/orden-router.camel.yaml |
Махаш директното изпращане към seda:repartir: от днес публикува само outbox |
2. Предвиди
Отговори на лист хартия:
- С версията от урок 29 Kafka е паднала и пристигат 4002 и 4003. Получава ли магазинът своето
202? Колко реда има в outbox? Какво става с поръчките, когато Kafka се върне? - Защо редът в outbox трябва да се запише в същата транзакция като операцията, а не точно след нея?
- Ако оставиш директното изпращане и освен това outbox, какво става с всяко събитие? Би ли го създало API-то два пъти?
Виж какво е положението днес:
./verifica inicio
При паднала Kafka рутерът записва двете поръчки и отговаря с 202, но outbox остава празен. Когато Kafka
се върне, 6-те операции продължават да чакат: никой не ги праща отново.
3. Тавичката „за изпращане“
TODO 1: новата поръчка
В mio/orden-router/estado.camel.yaml намери TODO 1. То е вътре в транзакцията, която записва поръчката и нейните
операции. Точно там един INSERT … SELECT оставя по един ред за всяка току-що записана операция:
- to:
uri: "sql:INSERT INTO outbox (operacion) SELECT id FROM operacion WHERE orden = :#${variable.orden} AND momento = 'creada' ORDER BY id"
parameters:
dataSource: "#estado"
ORDER BY id прави така, че редовете да влизат в реда, в който са се родили операциите, а polling-ът публикува в този
ред.
TODO 2: ново събитие
По-долу, в същата транзакция, която записва пратката или доставката, е TODO 2. Това е същият INSERT, с две
разлики:
| TODO 1 | TODO 2 | |
|---|---|---|
| Кое събитие | 'creada' |
:#${variable.momento} |
| Кои операции | Всички | Само тези, които са се родили pendiente: AND estado = 'pendiente' |
Защо само чакащите? Защото тези в estacionada (урок 17) още не могат да излязат. Тях ги оставя в outbox
обхождането, когато ги освободи.
TODO 3: един-единствен път
В mio/orden-router/orden-router.camel.yaml, в маршрута contestar-y-repartir, махни стъпката to: seda:repartir.
Ако я оставиш, всяко събитие излиза по два пътя: директния и outbox. API-то би го разпознало по ключа си (урок 18),
но всеки канал би получил две събития и рутерът би записал два опита. Един-единствен път е по-лесен за обясняване и за
проследяване.
4. Счупи едно нарочно
С твоята завършена версия изтрий INSERT-а от TODO 1 и пусни ./verifica.
Преди това предвиди: Kafka е вдигната в началото. Пристига ли 4001?
Не. Скриптът verifica спира на втората отметка: 4001 не стига до нито един от каналите си. Вече махна директното изпращане (TODO 3), така че outbox е единственият път и поръчка, която не остави своя ред, не я публикува никой. Преди outbox „Kafka е вдигната“ стигаше; сега това, което решава, е записаният ред. Върни го.
5. Провери
./verifica
verifica праща 4001 с всичко вдигнато, спира Kafka, праща 4002 и 4003, проверява outbox и API-то
в продължение на няколко секунди, вдига отново Kafka и изчаква всичко да излезе. Урокът е завършен, когато видиш осемте
зелени отметки:
✅ Arrancaron el router, los tres canales con su puente y el sondeo
✅ La 4001 llegó a sus tres canales
✅ Con Kafka caído, el router guardó la 4002 y la 4003 y contestó 202 a las dos
✅ En el outbox esperan 6 filas sin publicar, una por operación de la 4002 y la 4003
✅ Control: mientras Kafka está caído, la API no tiene ninguna de las dos
✅ Kafka volvió y lo guardado salió solo: la API, el ERP y el socio tienen la 4002 y la 4003
✅ En la API se creó cada una UNA vez (2 creaciones para 2 órdenes)
✅ El outbox quedó sin pendientes: todo lo que se guardó, salió
Петата е контрола: ако при паднала Kafka API-то вече имаше поръчките, шестата отметка нямаше да доказва, че outbox ги е извадил.
Виж сам outbox, с вдигнати услуги:
docker compose -f ../../infra/compose.yaml exec estado psql -U router -d estado \
-c "SELECT x.id, p.orden, p.canal, x.publicado FROM outbox x JOIN operacion p ON p.id = x.operacion ORDER BY x.id"
Не тръгва? ./verifica solucion тества нашето решение, а diff -r mio solucion ти казва по какво се различават.
| Какво виждаш | Какво правиш |
|---|---|
A la base de estado le falta la tabla outbox |
Базата ти е отпреди урок 30: пресъздай я с командата, която носи съобщението (--force-recreate -V estado) |
La 4001 no llegó a sus tres canales |
Липсва TODO 1: с направено TODO 3, без ред в outbox не се публикува нищо |
En el outbox esperaba 6 filas sin publicar … y hay 0 |
INSERT-ът от TODO 1 не се изпълнява: провери дали е вътре в транзакцията, след записването на операциите |
Kafka volvió y lo guardado no salió |
Виж кой канал в какво състояние е останал (казва го съобщението) и провери маршрута sondeo-outbox в лога на рутера |
En la API hubo … creaciones para 2 órdenes |
API-то е създало някоя два пъти: променил ли си ключа, който int-rest му праща? (урок 18) |
El outbox tiene … filas sin publicar |
Нещо е заседнало: провери лога на рутера, под sondeo-outbox |
El puerto 8080 está ocupado |
Услугите от друго пускане са останали вдигнати: DONDE=mio docker compose -f compose.yaml down |
Какво учи това извън курса
Две системи не споделят една транзакция. Базата и Kafka потвърждават всяка своето. Ако едно действие трябва да остане и в двете, записва се само в едната (базата, заедно с поръчката), а другата се захранва оттам.
Записаното е това, което излиза. Polling-ът публикува това, което казва outbox, като чете базата. Ако рутерът се рестартира по средата, редът си стои там.
Да публикуваш повече се търпи; да публикуваш по-малко — не. Ако рутерът падне по средата на изпращането или след като
е публикувал и преди да отбележи publicado, редът излиза отново. Затова този, който чете, трябва да разпознава повторения (уроци 18 и 29). Загубата на събитие, обратно, не
я забелязва никой, докато някой клиент не се оплаче.
Един-единствен път. Да държиш директното изпращане „за всеки случай“ до outbox дублира всичко и не поправя нищо: outbox вече покрива случая, в който Kafka е вдигната.
Упражнение: тавичката
- Спри Kafka с вдигнати услуги, прати една поръчка и пусни заявката от стъпка 5. Какво казва колоната
publicado? Вдигни Kafka и я пусни отново. - На хартия: рутерът записа поръчката и нейния ред в outbox, polling-ът я публикува и рутерът падна, преди да отбележи
publicado. Какво става, когато се върне? Коя част пречи на API-то да я създаде два пъти? - Направи списък на начините да загубиш една поръчка, които видя в курса (магазинът, който не получава
202, падналият ERP, 997, който не пристига, потвърденото събитие без резултат…). До всеки — урокът, който го затваря.
Защо е направено така
Какво решихме в този урок, заедно с това, което отхвърлихме, и какво би ни накарало да си променим мнението:
- Това, което трябва да се публикува, се записва в същата транзакция (outbox), а един polling го публикува
Преговор
- Каква пролука остава между записването и публикуването и защо не се оправя, като се публикува първо?
- Какво пази таблицата
outboxи в коя транзакция се записва? - Защо TODO 2 оставя навън операциите в
estacionada? - Какво би станало, ако оставиш директното изпращане до outbox?
- Заключителният въпрос: един магазин праща поръчка при паднала Kafka. Разкажи стъпка по стъпка какво става от
202до момента, в който партньорът има своята 850-ка, и в кои таблици остава следа.
Следва: с този урок свършва курсът върху Docker Compose. Ако екипът ти работи с Kubernetes или иска да види интеграцията без контейнери, приложението (уроци 31 и 32) е за четене и е незадължително.
Какво прави Hábil
В края на този курс:
- повторено известие не дублира нищо;
- ако не се знае дали нещо е пристигнало, то остава за съгласуване, вместо да се смята за провалено;
- оставеното не се смята за потвърдено, докато партньорът не потвърди получаването;
- един паднал канал не спира останалите;
- всяка дестинация получава само толкова извиквания, колкото издържа;
- всяка поръчка може да се проследи, без да се показват лични данни.
В една фирма това обикновено звучи така: „Не знаем дали тази операция е пристигнала. Опитва се отново на ръка и понякога се дублира“. А има и повреди, които не отбелязват грешка: изпращането е излязло, но отговорът така и не е пристигнал.
В Hábil изграждаме по мярка интеграцията между вашия магазин, вашия ERP, вашите партньори и вашите канали. Hábil MDW е проектирана да работи 24/7, с одитна следа за всяка операция: какво е пратено към всяка система, какво е отговорила тя, в колко часа и, ако се е провалила, защо. Всяко изпращане остава със своя отговор или със своята причина за провал, а повторните опити са проектирани така, че да не повтарят ефекта. Изпращане, което е минало зле, го опитва отново вашият оперативен екип като ново изпращане, със следа кой го е направил и без да се пипа базата данни на ръка.
Предпочитате имейл? Пишете ни на hola@habil.mx