Algocrazia, sicurezza e protezione dati: tra black box e sorveglianza di massa, avanza il bisogno dell’Algoretica

La parola “algocrazia”, nota già dalla fine degli anni Novanta, negli ultimi tempi ha iniziato a farsi strada nel dibattito tecno-politico globale animando numerosi interrogativi rispetto ai profili etici, giuridici e di cybersecurity che la accompagnano.

Il termine è stato coniato dal sociologo della globalizzazione Aneesh Aneesh, che nel paper del 2002 ”Technologically Coded Authority” lo utilizza nel senso di «rules of the code (or of an algorithm) as an organizational model capable of replacing the rules of an office», anticipando il profilarsi di un sistema di governance in cui l’autorità è sempre più incorporata nella tecnologia.

Oggi indica “il crescente utilizzo degli algoritmi informatici e dell’intelligenza artificiale al fine di esercitare il controllo su qualsiasi aspetto della vita quotidiana” (dal vocabolario Treccani). Nell’arco di vent’anni il concetto di algocrazia ha quindi assunto – tanto sul piano semantico quanto nella percezione sociale – una connotazione via via più negativa, finendo per coincidere con l’ipotesi distopica di un abuso della tecnologia in danno dei diritti e della sicurezza delle persone.

Algoritmi ovunque: sorveglianza di massa, giustizia predittiva e risvolti etici delle tecnologie AI

L’idea di una crescente “onnipresenza” degli algoritmi non è certamente una cospirazione infondata. Di fatto la capacità di elaborare in tempi rapidissimi enormi quantità di dati ha reso questo strumento la base fondante di innumerevoli tecnologie di uso quotidiano, prime fra tutte le piattaforme social su cui ogni giorno miliardi di persone lavorano, si informano e comunicano tra di loro.

Dalla sanità alla giustizia, dall’istruzione al controllo delle frontiere, sono poi moltissimi gli ambiti in cui governi, istituzioni pubbliche e organizzazioni sovranazionali delegano importanti scelte a una o più “rules of the code”.

Ciò permette di ottimizzare flussi di lavoro e servizi di ogni tipo, anche grazie alle sempre più sofisticate capacità di “autoapprendimento” che caratterizzano i sistemi AI/ML. Ma è evidente come questa tendenza legittimi molte riserve: specie rispetto al concreto rischio che tali sistemi, riproducendo i bias che potrebbero caratterizzare i dati con cui sono alimentati, finiscano per replicare discriminazioni di varia natura ovvero per facilitare pratiche di sorveglianza digitale su oppositori politici o giornalisti (non solo negli Stati autoritari, come dimostra il recente caso dello spyware Predator in Grecia su cui attualmente indaga la Procura Europea).

Per comprendere quanto tali sistemi possano avere impatti rilevanti anche su persone comuni basti pensare alle misure adottate durante la pandemia da Covid-19, quando molti Paesi hanno scelto di affidarsi agli algoritmi per mappare i contagi e contenere la diffusione del virus, suscitando diverse critiche in termini di privacy individuale; o alla gestione dei flussi migratori diretti verso gli Stati occidentali, dove l’automazione dei controlli e la raccolta massiccia di dati biometrici minacciano i diritti fondamentali delle persone coinvolte.

Ulteriori e delicati ambiti applicativi dei sistemi AI sono l’E-justice e il cosiddetto predictive policing, nei quali i dubbi circa l’eticità di scelte sganciate da ogni valutazione umana – per sua natura incline a cogliere sfumature impossibili per una macchina – si sommano alle ormai solide ricerche che espongono la scarsa affidabilità e il potenziale gravemente discriminatorio di decisioni automatizzate ammesse in settori così complessi.

Lacune giuridiche e sviluppi in campo di Data Protection

Il rischio di abusi è in parte amplificato dal fatto che l’uso degli algoritmi (particolarmente nei sistemi di Intelligenza Artificiale) rappresenti ancora una “zona grigia” nel diritto positivo. Sebbene esistano da decenni, infatti, questi strumenti restano ancora in larga parte privi di una specifica disciplina giuridica.

Il quadro sta cambiando in forza di numerose iniziative legislative, tra cui l’AI Act in attesa di approvazione del Parlamento UE; ma per adesso il principale argine allo “strapotere degli algoritmi” è rappresentato dalla normativa sulla protezione dei dati personali.

Ovvero, nel contesto europeo, dal GDPR: poiché per il loro funzionamento è necessario raccogliere, archiviare, trattare (e talvolta diffondere) importanti moli di informazioni, questi strumenti possono spesso andare contro le previsioni in tema di Data Protection, come avvenuto nel conflitto tra OpenAI e il Garante della privacy.

In Italia, sempre in forza del Regolamento, il tema inizia a essere oggetto di attenzione anche da parte del legislatore. Ne è esempio il cd. Decreto Trasparenza del 2022, il quale prevede specifici obblighi informativi a carico del datore di lavoro che utilizzi “sistemi decisionali o di monitoraggio automatizzati […] ai fini dell’assunzione o del conferimento dell’incarico, della gestione o della cessazione del rapporto di lavoro”, imponendo inoltre puntuali valutazioni d’impatto rispetto all’impiego di tali sistemi.

Il valore degli algoritmi per la sicurezza informatica (e non solo)

Fra le numerose applicazioni dei sistemi di AI a base algoritmica vi è la sicurezza informatica, ove da tempo sono impiegati per il monitoraggio di reti e sistemi nonché per attività di Threat Detection e Offensive Security.

I citati e condivisibili timori non escludono, infatti, l’utilità degli algoritmi in alcuni specifici contesti. Eppure anche qui essi possono rivelarsi armi a doppio taglio: come osservato rispetto ad altri campi di applicazione, l’impiego di algoritmi non sicuri o dataset viziati da pregiudizi di vario tipo rischia di inficiare interi processi o prodotti applicati su larga scala, con immaginabili conseguenze a livello di sicurezza personale, aziendale e perfino nazionale.

Va infatti considerato come il crimine informatico abbia imparato da tempo ad approfittare dell’automazione, in particolare di LLM come ChatGPT, per definire attacchi basati sul linguaggio (soprattutto di tipo BEC – Business Email Compromise) sempre più mirati, oltre che – nel caso di hacktivism o attori Nation-State – per “inquinare” l’opinione pubblica diffondendo propaganda politica e disinformazione in rete.

Di recente anche l’ENISA ha ribadito l’urgenza di uniformare e irrobustire gli standard di cybersecurity per l’AI: reali vantaggi sembrano allora poter discendere solo da un approccio prudente, che sappia cogliere le opportunità tecnologiche senza ignorare il pericolo di usi distorti o vulnerabilità ancora ignote.

Dall’opacità delle black box all’Ethical AI

La natura proprietaria della maggior parte degli algoritmi impiegati nei sistemi di AI impedisce, infatti, ad autorità pubbliche e ricercatori indipendenti di indagarne a fondo il funzionamento e i potenziali difetti, così portando a un’oggettiva mancanza di trasparenza circa queste “black box” dotate di grandissimo potere.

Dubbi e riserve in merito al crescente dominio algoritmico sembrano condivisi addirittura da personalità in prima linea nel loro sviluppo: come dimostra la discussa proposta di una moratoria di sei mesi nell’addestramento dei sistemi AI per consentire di sviluppare regole condivise e controlli di sicurezza volti a prevenirne i rischi, avanzata da Elon Musk insieme ad altri noti nomi della tech industry globale.

Sebbene per diversi critici si tratti di una strategia comunicativa più che di autentici scrupoli morali, la richiesta di privilegiare la ricerca sull’Ethical AI e lo stratificarsi del dibattito in materia confermano come l’algocrazia sia molto più di una parola temporaneamente alla moda, rappresentando al contrario uno dei campi su cui si giocheranno importanti sfide tecnologiche e culturali del prossimo futuro.

A cura della Redazione