Data Engineering Insights

Perché ho passato un mese a testare le novità Databricks Lavoro con Databricks da 4 anni. Ho visto uscire mille feature, la maggior parte delle quali promettevano di “rivoluzionare” il data engineering e poi finivano nel dimenticatoio dopo 6 mesi. Ma gennaio 2026 è stato diverso. Tre annunci in 3 settimane: Lakebase GA - Postgres serverless sul lakehouse AI Agent Mode - L’AI che scrive davvero le pipeline Delta Lake 4.0 UniForm - Fine delle guerre di formato Mi sono detto: “Ok, questa volta testo tutto prima di cantare vittoria”. Ho preso un progetto reale (migrazione da Redshift) e ho provato a usarli in produzione. Ecco cosa è successo. ...

Il problema che mi ha fatto impazzire per 2 anni Lavoro con pipeline event-driven da quando EventBridge si chiamava ancora CloudWatch Events. E per 2 anni ho avuto un problema ricorrente: il limite dei 256KB. Ogni volta che dovevo passare un payload grande (risposta LLM, evento CDC completo, log dettagliato), dovevo inventarmi qualcosa: Pattern claim-check (salva su S3, passa il reference) Split dell’evento su più messaggi Bypass completo di EventBridge con Kinesis Tutte soluzioni che funzionano, ma aggiungono latenza, complessità e altri pezzi da mantenere. ...

La mia ossessione per la leva (e perché ho smesso di ascoltare i “guru”) Mentre metà del mondo finanza su Reddit grida “VWCE & Chill” e l’altra metà si litiga su Oro, BTC e cavolate varie, io ho passato le ultime settimane a fissare una domanda che mi toglieva il sonno: ha senso usare la leva finanziaria sull’S&P 500 per il lungo periodo? Ho visto gente fare il botto tra il 2020 e il 2021 con gli ETF 3x, vantandosi di rendimenti da capogiro mentre sorseggiavano spritz. Poi è arrivato il 2022 e li ho visti sparire dai radar, con i portafogli spappolati da un -70%. La leva è un’arma atomica: può farti volare o radere al suolo tutto quello che hai costruito in una vita. ...