Към съдържанието
Съдържание на курса

Урок 27 — Какво не бива да показва одитната следа

От · съосновател и Chief Executive Officer на Hábil ·

Какво ще постигнеш: одитната следа на една поръчка (това, което базата пази за диагностика, и това, което показва пътят на поръчката от урок 26) да не показва коя е клиентката: нито името ѝ, нито имейла ѝ, нито телефона ѝ, нито улицата ѝ. И маскирана, тя пак да върши работа, за да се разбере какво е станало. Към дестинацията поръчката продължава да излиза цяла.

Преди да започнеш, ти трябват: завършен урок 26 и включена средата от урок 00.

Новото днес, в едно изречение

В урок 26 сглоби пътя на поръчката: всеки, който може да го поиска, вижда всеки опит с това, което е излязло, изцяло. Това включва и човека, който е купил. Днес тестовата поръчка е 4008, която носи име, имейл, телефон и адрес на една клиентка (измислени, както всичко в този курс). Който обслужва поддръжката, трябва да знае какво е станало с поръчката; не му трябва да знае къде живее клиентката. Днес маскираш личните данни, преди да влязат в одитната следа.

Картината: извлечението на картата ти в приложението на банката. Показва ти **** **** **** 0428: достатъчно, за да разбереш коя е, но недостатъчно, за да я използва някой. Банката има целия номер и го използва, за да таксува; това, което маскира, е показваното.


1. Подготви папката си

cd lecciones/27-lo-que-el-rastro-no-debe-mostrar
cp -R inicio mio

Отвори datos/ordenes/tramo-2/orden-4008.json и посочи с молив всяка стойност, която казва коя е клиентката. После отвори mio/orden-router/reparto.camel.yaml и намери в маршрута intentar коментара Desde la 27 („от урок 27“). Преди да се запише в payload, тялото минава през нов мапинг:

lo que sale ──→ al canal (completo)
            └─→ mappings/rastro/mascara/v1 ──→ variable rastro ──→ payload (tapado)
Част Какво пази
Тялото, което отива към канала Цялата поръчка: API-то, ERP и партньорът имат нужда от нея, за да доставят
payload.cuerpo Това, което е излязло, маскирано
intento.sha256 Отпечатъкът на това, което наистина е излязло, без маскиране: продължава да служи за разпознаване на повторения (урок 18)

Маршрутът вече е свързан. Твоята работа е мапингът: mio/orden-router/mappings/rastro/mascara/v1/mapeo.jsonata. Днес той връща всичко така, както пристига ($). И си има еталонни тестови случаи в cases/, както мапингите от урок 03.

2. Предвиди

Отговори на лист хартия:

  1. Кои данни на клиентката би видял днес в пътя на 4008? Кой може да поиска този път?
  2. Ако маскираш всичко за клиентката, би ли могъл все още да разбереш дали имейлът ѝ е бил написан правилно или дали пощенският код е бил валиден?
  3. Таблицата orden също пази 4008 цялата. Защо тя може да съдържа данните?

Виж какво е положението днес:

./verifica inicio

Първата отметка излиза в червено: еталонните случаи очакват маскирани данни, а мапингът ги пропуска. А по-долу търсенето намира името, имейла, телефона и улицата на клиентката в одитната следа и в пътя на поръчката.

3. Маскирай точно колкото трябва

Преди да пишеш, отвори трите еталонни случая: cases/orden-con-cliente, cases/embarque и cases/entrega. Всеки има свой entrada.json и свой esperado.json. Сравни ги и попълни тази таблица:

Стойност Пристига Записва се Какво все още казва
cliente.nombre Ana Ejemplo Prueba A. E. P. Инициалите ѝ
cliente.correo ana.prueba@example.com a***@example.com Дали домейнът е бил валиден
cliente.telefono +52 55 0000 0428 *** **** **28 Последните две цифри, за да се разпознае
cliente.direccion.calle Calle de Ejemplo 28 *** Нищо
recibio (при доставка) Ana Ejemplo Prueba A. E. P. Инициалите ѝ
tienda, renglones, cp, colonia… Същото Всичко, което служи за диагностика

Мапингът има две TODO.

TODO 1: функцията $mascara

В JSONata функция се дефинира с function($v, $modo) { … } и се записва в променлива с :=. Твоята получава стойност и режим и връща маскираната стойност. Така изглежда формата ѝ, с всеки режим като въпрос ? ::

(
  $mascara := function($v, $modo) {
    $not($exists($v)) ? $v
    : $modo = 'iniciales' ? …
    : $modo = 'correo'    ? …
    : $modo = 'telefono'  ? …
    : '***'
  };
  …   (aquí va el TODO 2)
)

Първият ред се грижи за един случай, който се забравя: ако стойността не идва, нека продължи да не идва. Една пратка не носи клиент; без този ред би се появил измислен cliente.

Функциите на JSONata, които ти трябват за всеки режим:

Режим Идея Функции
iniciales Раздели името на думи, вземи първата буква на всяка с точка и ги съедини с интервал $split($trim($v), ' '), $map(…, function($p) { $substring($p, 0, 1) & '.' }), $join(…, ' ')
correo Първата буква, ***@ и това, което е след маймунката $substring($v, 0, 1), $substringAfter($v, '@') и & за съединяване на текстове
telefono *** **** ** и последните две цифри $replace($v, /[^0-9]/, '') оставя само цифрите; $substring(…, -2) взема последните две

TODO 2: приложи я където трябва

JSONata има оператор за промяна на само една част от документ, като останалото остава същото — операторът за трансформация: ~> | ruta | { cambios } |. Чете се „в това, което е в ruta, сложи тези промени“.

$
  ~> | cliente | {
       "nombre": $mascara(nombre, 'iniciales'),
       "correo": $mascara(correo, 'correo'),
       "telefono": $mascara(telefono, 'telefono')
     } |
  ~> | cliente.direccion | { "calle": $mascara(calle, 'todo') } |
  ~> | $ | { "recibio": $mascara(recibio, 'iniciales') } |

Това са три верижни трансформации: една в cliente, една в cliente.direccion и една в корена ($), за recibio при доставка. Това, което не назоваваш, остава същото: затова пощенският код и редовете минават непипнати.

Тествай мапинга си, преди да вдигаш каквото и да е:

../../herramientas/probar-mapeo mio/orden-router/mappings/rastro/mascara/v1

4. Счупи едно нарочно

С твоя завършен мапинг добави пощенския код към маскираното, в трансформацията на cliente.direccion: "cp": $mascara(cp, 'todo'). Пусни ./verifica.

Преди това предвиди: сега одитната следа маскира повече. По-добре ли е това?

Излизат в червено първата отметка (еталонният случай очакваше пощенския код) и последната: одитната следа вече не казва пощенския код. Ако една доставка се провали, защото пощенският код не съществува, следата вече не ти позволява да го видиш. Да маскираш прекалено също е грешка: одитната следа съществува, за да се диагностицира, а такава, която не казва нищо, не върши работа. Само един пощенски код, без улица и без име, трудно ще посочи клиентката. Върни го както беше.

5. Провери

./verifica

verifica тества твоите еталонни случаи, праща 4008, изчаква трите ѝ канала да отговорят и после търси четирите стойности на клиентката в одитната следа в базата, в пътя на поръчката и в логовете на всички услуги. Урокът е завършен, когато видиш седемте зелени отметки:

✅ El mapeo rastro/mascara/v1 pasa sus casos dorados
✅ Arrancaron el router (que tapa los datos personales del rastro), los tres canales y el sondeo
✅ Control: la orden guardada sí tiene los 4 datos personales (la búsqueda encuentra lo que hay)
✅ En el rastro de la base (payload, intentos, acuses, avisos, conflictos): 0 datos personales
✅ GET /ordenes/4008/recorrido: la orden sí sale, y sin sus datos personales
✅ En los logs: la 4008 aparece (…) veces y sus datos personales 0
✅ Lo tapado sirve para diagnosticar: (…)

Виж третата. Преди да брои нули, verifica търси същите четири стойности там, където те трябва да са — в таблицата orden, и ги намира. Ако не ги намереше там, „0“ в следващите отметки нямаше да доказва нищо: можеше търсенето да е написано грешно. Това се нарича положителна контрола: преди да повярваш на една нула, провери дали търсенето умее да намира. И чети нулата с нейния обхват: „0 лични данни“ означава 0 появи на четирите стойности, които verifica търси, на местата, където ги търси.

Не тръгва? ./verifica solucion тества нашето решение, а diff mio/orden-router/mappings/rastro/mascara/v1/mapeo.jsonata solucion/orden-router/mappings/rastro/mascara/v1/mapeo.jsonata ти казва по какво се различават.

Какво виждаш Какво правиш
no pasa sus casos dorados Пусни probar-mapeo както в стъпка 3: казва ти кой случай и кое поле не съвпада
Случаят embarque се проваля с cliente, който не би трябвало да е там Липсва първият ред на $mascara: ако стойността не идва, нека продължи да не идва
En el rastro de la base hay … apariciones Някоя трансформация не се прилага: провери пътя на всяко `~>
GET /ordenes/4008/recorrido: … de los 4 datos personales a la vista Същото: пътят на поръчката чете от payload
Lo que guarda el rastro de la 4008 без пощенския код или без домейна Маскирал си прекалено: пощенският код и домейнът на имейла остават
El puerto 8080 está ocupado Услугите от друго пускане са останали вдигнати: DONDE=mio docker compose -f compose.yaml down

Какво учи това извън курса

Маскира се показваното, а не използваното. Дестинациите имат нужда от пълните данни, за да доставят: куриерската фирма има нужда от адреса. Одитната следа е за диагностика и я четат повече хора, отколкото би трябвало да познават клиентката. Затова се маскира там, а не при изпращането.

Маскирането е дизайн, а не изтриване. Инициалите, домейнът на имейла, последните две цифри и пощенският код казват достатъчно, за да се разпознае и диагностицира, и много по-малко от пълната стойност. Да решиш какво остава е трудната част. А маскирането на полета не е анонимизиране: заедно или с други източници някои данни могат отново да посочат човека (упражнение 2 го изследва). Една реална одитна следа изисква освен това да се реши кой може да я чете и колко време се пази.

Отпечатъкът остава този на реалното. Одитната следа пази маскираното, но отпечатъкът от урок 18 се взема от това, което наистина е излязло. Така повторенията продължават да се разпознават, без да се пази стойността.

Преди да повярваш на една нула, потърси там, където го има. „0 лични данни“ може да е чиста следа, а може да е търсене, което не умее да търси. Положителната контрола е това, което ги различава, и върши работа за всяко измерване, което ти дава нула.

Упражнение: какво се вижда и какво — не

  1. Поискай пътя на 4008 (curl -s localhost:8080/ordenes/4008/recorrido) и попълни две колони: какво можеш да разбереш за поръчката и какво не можеш да разбереш за клиентката.
  2. В orden-4008.json намери друга стойност, която заедно с останалите немаскирани би могла да помогне да се идентифицира клиентката. Би ли я маскирал? Какво би загубил за диагностиката, ако я маскираш?
  3. Някой от поддръжката трябва да се обади на клиентката, защото доставката ѝ се е провалила. Откъде трябва да вземе телефона: от одитната следа или от другаде? Кой трябва да може да го вижда?

Защо е направено така

Какво решихме в този урок, заедно с това, което отхвърлихме, и какво би ни накарало да си променим мнението:

  • Одитната следа се пази маскирана

Преговор

  1. Кои данни на 4008 са лични и кои — не?
  2. Защо се маскира в одитната следа, а не в това, което отива към дестинацията?
  3. Какво прави операторът за трансформация на JSONata, ~> | ruta | { … } |?
  4. Защо пощенският код и домейнът на имейла се оставят видими?
  5. Заключителният въпрос: verifica търси данните в таблицата orden, преди да брои нули в одитната следа. За какво служи това и какво би станало с теста, ако не го правеше?

Следва: в урок 28 интеграцията престава да говори само по HTTP и с файлове: събитията от жизнения цикъл на поръчката пътуват през един топик и всяка интеграция ги чете със собствена група.

Да обсъдим вашия проект

Предпочитате имейл? Пишете ни на hola@habil.mx