Съдържание на курса
Урок 27 — Какво не бива да показва одитната следа
От Dorian Chávez · съосновател и Chief Executive Officer на Hábil ·
Какво ще постигнеш: одитната следа на една поръчка (това, което базата пази за диагностика, и това, което показва пътят на поръчката от урок 26) да не показва коя е клиентката: нито името ѝ, нито имейла ѝ, нито телефона ѝ, нито улицата ѝ. И маскирана, тя пак да върши работа, за да се разбере какво е станало. Към дестинацията поръчката продължава да излиза цяла.
Преди да започнеш, ти трябват: завършен урок 26 и включена средата от урок 00.
Новото днес, в едно изречение
В урок 26 сглоби пътя на поръчката: всеки, който може да го поиска, вижда всеки опит с това, което е излязло, изцяло. Това включва и човека, който е купил. Днес тестовата поръчка е 4008, която носи име, имейл, телефон и адрес на една клиентка (измислени, както всичко в този курс). Който обслужва поддръжката, трябва да знае какво е станало с поръчката; не му трябва да знае къде живее клиентката. Днес маскираш личните данни, преди да влязат в одитната следа.
Картината: извлечението на картата ти в приложението на банката. Показва ти **** **** **** 0428: достатъчно,
за да разбереш коя е, но недостатъчно, за да я използва някой. Банката има целия номер и го използва, за да
таксува; това, което маскира, е показваното.
1. Подготви папката си
cd lecciones/27-lo-que-el-rastro-no-debe-mostrar
cp -R inicio mio
Отвори datos/ordenes/tramo-2/orden-4008.json и посочи с молив всяка стойност, която казва коя е клиентката. После
отвори mio/orden-router/reparto.camel.yaml и намери в маршрута intentar коментара Desde la 27 („от урок 27“). Преди да се запише
в payload, тялото минава през нов мапинг:
lo que sale ──→ al canal (completo)
└─→ mappings/rastro/mascara/v1 ──→ variable rastro ──→ payload (tapado)
| Част | Какво пази |
|---|---|
| Тялото, което отива към канала | Цялата поръчка: API-то, ERP и партньорът имат нужда от нея, за да доставят |
payload.cuerpo |
Това, което е излязло, маскирано |
intento.sha256 |
Отпечатъкът на това, което наистина е излязло, без маскиране: продължава да служи за разпознаване на повторения (урок 18) |
Маршрутът вече е свързан. Твоята работа е мапингът: mio/orden-router/mappings/rastro/mascara/v1/mapeo.jsonata. Днес
той връща всичко така, както пристига ($). И си има еталонни тестови случаи в cases/, както мапингите от урок 03.
2. Предвиди
Отговори на лист хартия:
- Кои данни на клиентката би видял днес в пътя на 4008? Кой може да поиска този път?
- Ако маскираш всичко за клиентката, би ли могъл все още да разбереш дали имейлът ѝ е бил написан правилно или дали пощенският код е бил валиден?
- Таблицата
ordenсъщо пази 4008 цялата. Защо тя може да съдържа данните?
Виж какво е положението днес:
./verifica inicio
Първата отметка излиза в червено: еталонните случаи очакват маскирани данни, а мапингът ги пропуска. А по-долу търсенето намира името, имейла, телефона и улицата на клиентката в одитната следа и в пътя на поръчката.
3. Маскирай точно колкото трябва
Преди да пишеш, отвори трите еталонни случая: cases/orden-con-cliente, cases/embarque и cases/entrega. Всеки
има свой entrada.json и свой esperado.json. Сравни ги и попълни тази таблица:
| Стойност | Пристига | Записва се | Какво все още казва |
|---|---|---|---|
cliente.nombre |
Ana Ejemplo Prueba |
A. E. P. |
Инициалите ѝ |
cliente.correo |
ana.prueba@example.com |
a***@example.com |
Дали домейнът е бил валиден |
cliente.telefono |
+52 55 0000 0428 |
*** **** **28 |
Последните две цифри, за да се разпознае |
cliente.direccion.calle |
Calle de Ejemplo 28 |
*** |
Нищо |
recibio (при доставка) |
Ana Ejemplo Prueba |
A. E. P. |
Инициалите ѝ |
tienda, renglones, cp, colonia… |
Същото | Всичко, което служи за диагностика |
Мапингът има две TODO.
TODO 1: функцията $mascara
В JSONata функция се дефинира с function($v, $modo) { … } и се записва в променлива с :=. Твоята получава
стойност и режим и връща маскираната стойност. Така изглежда формата ѝ, с всеки режим като въпрос ? ::
(
$mascara := function($v, $modo) {
$not($exists($v)) ? $v
: $modo = 'iniciales' ? …
: $modo = 'correo' ? …
: $modo = 'telefono' ? …
: '***'
};
… (aquí va el TODO 2)
)
Първият ред се грижи за един случай, който се забравя: ако стойността не идва, нека продължи да не идва. Една пратка не носи
клиент; без този ред би се появил измислен cliente.
Функциите на JSONata, които ти трябват за всеки режим:
| Режим | Идея | Функции |
|---|---|---|
iniciales |
Раздели името на думи, вземи първата буква на всяка с точка и ги съедини с интервал | $split($trim($v), ' '), $map(…, function($p) { $substring($p, 0, 1) & '.' }), $join(…, ' ') |
correo |
Първата буква, ***@ и това, което е след маймунката |
$substring($v, 0, 1), $substringAfter($v, '@') и & за съединяване на текстове |
telefono |
*** **** ** и последните две цифри |
$replace($v, /[^0-9]/, '') оставя само цифрите; $substring(…, -2) взема последните две |
TODO 2: приложи я където трябва
JSONata има оператор за промяна на само една част от документ, като останалото остава същото — операторът за
трансформация: ~> | ruta | { cambios } |. Чете се „в това, което е в ruta, сложи тези промени“.
$
~> | cliente | {
"nombre": $mascara(nombre, 'iniciales'),
"correo": $mascara(correo, 'correo'),
"telefono": $mascara(telefono, 'telefono')
} |
~> | cliente.direccion | { "calle": $mascara(calle, 'todo') } |
~> | $ | { "recibio": $mascara(recibio, 'iniciales') } |
Това са три верижни трансформации: една в cliente, една в cliente.direccion и една в корена ($), за
recibio при доставка. Това, което не назоваваш, остава същото: затова пощенският код и редовете минават непипнати.
Тествай мапинга си, преди да вдигаш каквото и да е:
../../herramientas/probar-mapeo mio/orden-router/mappings/rastro/mascara/v1
4. Счупи едно нарочно
С твоя завършен мапинг добави пощенския код към маскираното, в трансформацията на cliente.direccion:
"cp": $mascara(cp, 'todo'). Пусни ./verifica.
Преди това предвиди: сега одитната следа маскира повече. По-добре ли е това?
Излизат в червено първата отметка (еталонният случай очакваше пощенския код) и последната: одитната следа вече не казва пощенския код. Ако една доставка се провали, защото пощенският код не съществува, следата вече не ти позволява да го видиш. Да маскираш прекалено също е грешка: одитната следа съществува, за да се диагностицира, а такава, която не казва нищо, не върши работа. Само един пощенски код, без улица и без име, трудно ще посочи клиентката. Върни го както беше.
5. Провери
./verifica
verifica тества твоите еталонни случаи, праща 4008, изчаква трите ѝ канала да отговорят и после търси
четирите стойности на клиентката в одитната следа в базата, в пътя на поръчката и в логовете на всички услуги. Урокът е
завършен, когато видиш седемте зелени отметки:
✅ El mapeo rastro/mascara/v1 pasa sus casos dorados
✅ Arrancaron el router (que tapa los datos personales del rastro), los tres canales y el sondeo
✅ Control: la orden guardada sí tiene los 4 datos personales (la búsqueda encuentra lo que hay)
✅ En el rastro de la base (payload, intentos, acuses, avisos, conflictos): 0 datos personales
✅ GET /ordenes/4008/recorrido: la orden sí sale, y sin sus datos personales
✅ En los logs: la 4008 aparece (…) veces y sus datos personales 0
✅ Lo tapado sirve para diagnosticar: (…)
Виж третата. Преди да брои нули, verifica търси същите четири стойности там, където те трябва да са — в
таблицата orden, и ги намира. Ако не ги намереше там, „0“ в следващите отметки нямаше да доказва нищо: можеше
търсенето да е написано грешно. Това се нарича положителна контрола: преди да повярваш на една нула,
провери дали търсенето умее да намира. И чети нулата с нейния обхват: „0 лични данни“ означава 0
появи на четирите стойности, които verifica търси, на местата, където ги търси.
Не тръгва? ./verifica solucion тества нашето решение, а
diff mio/orden-router/mappings/rastro/mascara/v1/mapeo.jsonata solucion/orden-router/mappings/rastro/mascara/v1/mapeo.jsonata
ти казва по какво се различават.
| Какво виждаш | Какво правиш |
|---|---|
no pasa sus casos dorados |
Пусни probar-mapeo както в стъпка 3: казва ти кой случай и кое поле не съвпада |
Случаят embarque се проваля с cliente, който не би трябвало да е там |
Липсва първият ред на $mascara: ако стойността не идва, нека продължи да не идва |
En el rastro de la base hay … apariciones |
Някоя трансформация не се прилага: провери пътя на всяко `~> |
GET /ordenes/4008/recorrido: … de los 4 datos personales a la vista |
Същото: пътят на поръчката чете от payload |
Lo que guarda el rastro de la 4008 без пощенския код или без домейна |
Маскирал си прекалено: пощенският код и домейнът на имейла остават |
El puerto 8080 está ocupado |
Услугите от друго пускане са останали вдигнати: DONDE=mio docker compose -f compose.yaml down |
Какво учи това извън курса
Маскира се показваното, а не използваното. Дестинациите имат нужда от пълните данни, за да доставят: куриерската фирма има нужда от адреса. Одитната следа е за диагностика и я четат повече хора, отколкото би трябвало да познават клиентката. Затова се маскира там, а не при изпращането.
Маскирането е дизайн, а не изтриване. Инициалите, домейнът на имейла, последните две цифри и пощенският код казват достатъчно, за да се разпознае и диагностицира, и много по-малко от пълната стойност. Да решиш какво остава е трудната част. А маскирането на полета не е анонимизиране: заедно или с други източници някои данни могат отново да посочат човека (упражнение 2 го изследва). Една реална одитна следа изисква освен това да се реши кой може да я чете и колко време се пази.
Отпечатъкът остава този на реалното. Одитната следа пази маскираното, но отпечатъкът от урок 18 се взема от това, което наистина е излязло. Така повторенията продължават да се разпознават, без да се пази стойността.
Преди да повярваш на една нула, потърси там, където го има. „0 лични данни“ може да е чиста следа, а може да е търсене, което не умее да търси. Положителната контрола е това, което ги различава, и върши работа за всяко измерване, което ти дава нула.
Упражнение: какво се вижда и какво — не
- Поискай пътя на 4008 (
curl -s localhost:8080/ordenes/4008/recorrido) и попълни две колони: какво можеш да разбереш за поръчката и какво не можеш да разбереш за клиентката. - В
orden-4008.jsonнамери друга стойност, която заедно с останалите немаскирани би могла да помогне да се идентифицира клиентката. Би ли я маскирал? Какво би загубил за диагностиката, ако я маскираш? - Някой от поддръжката трябва да се обади на клиентката, защото доставката ѝ се е провалила. Откъде трябва да вземе телефона: от одитната следа или от другаде? Кой трябва да може да го вижда?
Защо е направено така
Какво решихме в този урок, заедно с това, което отхвърлихме, и какво би ни накарало да си променим мнението:
- Одитната следа се пази маскирана
Преговор
- Кои данни на 4008 са лични и кои — не?
- Защо се маскира в одитната следа, а не в това, което отива към дестинацията?
- Какво прави операторът за трансформация на JSONata,
~> | ruta | { … } |? - Защо пощенският код и домейнът на имейла се оставят видими?
- Заключителният въпрос: verifica търси данните в таблицата
orden, преди да брои нули в одитната следа. За какво служи това и какво би станало с теста, ако не го правеше?
Следва: в урок 28 интеграцията престава да говори само по HTTP и с файлове: събитията от жизнения цикъл на поръчката пътуват през един топик и всяка интеграция ги чете със собствена група.
Предпочитате имейл? Пишете ни на hola@habil.mx