Source: http://www.rivistadellaregolazionedeimercati.it/index.php/saggi-2-2018/francesca-mattassoglio-algoritmi-e-regolazione-circa-i-limiti-del-principio-di-neutralita-tecnologica
Timestamp: 2020-07-13 08:51:11+00:00
Document Index: 17671944

Matched Legal Cases: ['art. 4', 'art. 65', 'art. 67', 'art. 67', 'sentenza ', 'art. 1', 'art. 17', 'art. 48']

Rivista della Regolazione dei mercati - Francesca Mattassoglio, Algoritmi e regolazione. Circa i limiti del principio di neutralità tecnologica
Algoritmi e regolazione.
Circa i limiti del principio
di neutralità tecnologica *
Recent years have seen a flurry of algorithms employed by financial market.
This situation is caused by financial technology innovation (FinTech), which is defined as «technology enabled innovation in financial services that could result in new business models, applications, processes or products with associated material effects on the provision of financial services».
Moreover, as some scholars have already underlined, algorithms perform a key function for FinTech: in other words, they characterize FinTech areas (payment system, robo-advisor, crypto-currencies, and so on).
Such kind of algorithms and analysis’ models could not only improve the system efficiency but they could also involve unpredictable risks and hazards for financial market stability, for investment and for investors/savers. In particular, according to some scholars, from the perspective of an individual, automated decision-making and profiling could place new opportunities for discriminatory, biased or erroneous decisions.
In this context, the aim of this paper is to analyse the European financial legal framework, in order to verify its capability to tackle this issue.
Sommario: 1. Delimitazione del tema di indagine. – 2. Algoritmi, Big Data e machine learning: alcune indicazioni di carattere generale. – 2.1. Gli algoritmi profilanti. – 3. Gli algoritmi e il mercato finanziario. – 3.1. La negoziazione ad alta frequenza. – 3.2. La consulenza automatizzata. – 3.3. La valutazione del merito creditizio. – 4. Alcune considerazioni circa i limiti del principio di neutralità tecnologica. – 5. Algo-governance e risk based regulation. – 6. Algo-governance e controllo delle performance. – 7. Algo-governance e product based regulation. – 8. Alcune osservazioni necessariamente non conclusive.
1. Delimitazione del tema di indagine
Il variegato fenomeno della c.d. Finanza Tecnologica (Fintech [1]) può dirsi caratterizzato dall’impiego di algoritmi complessi [2], che si avvalgono di tecniche di machine learning e intelligenza artificiale [3], in sostituzione del giudizio umano [4].
Le ragioni di una simile evoluzione sono note.
L’applicazione dell’innovazione tecnologica [5], nell’ambito dei mercati finanziari, consente di offrire nuove tipologie di servizi, prodotti, modelli di business (o di modificarne le modalità di offerta) grazie alla possibilità di effettuare milioni di operazioni al secondo [6], con una conseguente significativa riduzione dei costi, un aumento dei profitti e un’ottimizzazione dei prodotti, senza incorrere in errori o bias umano [7].
Tuttavia, il diffondersi di una simile “algocrazia” [8] alimenta, di pari passo, dubbi e diffidenze.
Anche senza aderire a visioni particolarmente negative [9] nei loro confronti – in attesa di prove incontrovertibili di pericolosità [10] – è indubbio che gli algoritmi e il loro funzionamento sollevino molteplici interrogativi [11] e timori [12], date le dirompenti potenzialità.
A questo riguardo, è necessario chiarire fin d’ora un profilo fondamentale.
Già da anni la tecnologia e, più precisamente, gli algoritmi sono abitualmente impiegati dagli operatori finanziari per agevolare e supportare l’offerta di servizi (ad esempio, per le negoziazioni, la consulenza e la valutazione del rischio creditizio); ultimamente però la situazione è mutata.
In primo luogo, i nuovi algoritmi presentano “potenzialità” di elaborazione inimmaginabili fino a poco tempo fa, grazie all’“innesto” con il fenomeno dei c.d. Big Data [13].
Inoltre, sempre più spesso, la componente algoritmica sta assumendo un ruolo predominante nell’ambito del processo decisionale, in cui non è più presente l’intermediazione di una persona fisica. In altre parole, l’elemento tecnologico si sta evolvendo da mero strumento ancillare a vero e proprio sostituto del giudizio umano.
Di conseguenza, è naturale che le autorità europee [14] e internazionali [15] di settore guardino al fenomeno con grande cautela, ribadendo la necessità di monitorare e verificare la situazione in attesa di decidere circa l’an, il quomodo e il quando di un intervento regolatorio.
In quest’ottica, si giustifica, pertanto al momento, la scelta di affidare un ruolo centrale a principi come quello di proporzionalità [16], di integrità del mercato e, soprattutto, di neutralità tecnologica [17].
Quello di neutralità tecnologica, in particolare, si muove nella logica di «stessi servizi, stessi rischi, stessa tecnologia» [18] ed è considerato uno dei pilastri fondamentali dell’attuale approccio regolatorio nell’ambito FinTech per la maggior parte delle autorità di settore [19]. È opinione diffusa, infatti, che il buon funzionamento del mercato possa raggiungersi solo tramite paritarie condizioni di gioco con gli operatori tradizionali, frutto di un’attenta opera di calibrazione delle regole. Di conseguenza, non vengono di norma introdotti precetti regolamentari dedicati ai nuovi soggetti o servizi, ma vengono per lo più forniti ai providers alcune indicazioni di dettaglio relative all’eventuale procedimento autorizzatorio o al possesso delle risorse necessarie per il monitoraggio.
In quest’ottica, si spiegano iniziative come le c.d. regulatory sandbox [20] e i digital innovation hab [21] che cercano, per l’appunto, di agevolare lo sviluppo di start-up e servizi innovativi creando momenti di dialogo con le autorità di vigilanza di settore.
Tuttavia, pur alla luce del quadro fin qui descritto, questo scritto intende porre l’attenzione su alcune specifiche ipotesi in cui l’ordinamento europeo ha già mostrato di voler superare il menzionato principio di neutralità tecnologica, introducendo un’autonoma e specifica regolazione dedicata ai servizi e alle attività che vengono condotte avvalendosi di tecnologie particolarmente innovative (una sorta di algo-governance [22]).
Anzi, come avremo di sottolineare, l’utilizzo di algoritmi complessi pare aver costituito l’occasione per intervenire in ambiti che, fino al recente passato, sono stati lasciati alla completa autonomia degli operatori [23], a dimostrazione che esso pone peculiari problematiche e rischi che necessitano di una specifica regolazione.
In particolare, questa dinamica parrebbe rinvenirsi non solo nel settore della negoziazione ad alta velocità, ma altresì nella c.d. consulenza robotizzata e nell’ambito della valutazione del merito creditizio dei richiedenti prestiti se posta in essere dalle c.d. FinTech Banks.
In altre parole, il principio di neutralità tecnologica, per lo meno in queste ipotesi, sembra inadatto a gestire le fasi del processo decisionale algoritmico e questo poiché, come cercheremo di evidenziare nel prosieguo, esso presenta intrinseche differenze rispetto a quello attuato da una persona fisica, per la potenzialità di calcolo, per la tipologia dei dati considerati, finanche alle modalità e alle tipologie di servizi offerti.
Per meglio comprendere le ragioni che giustificano una simile opinione, è necessario soffermarsi sugli aspetti che riguardano più propriamente la tecnologia impiegata.
2. Algoritmi, Big Data e machine learning: alcune indicazioni di ca­rattere generale
Come si è anticipato, il fenomeno FinTech spesso si avvale di un’inno­va­zione tecnologica applicata all’elaborazione dei dati.
Il perno su cui poggia detto sistema è l’algoritmo [24] che – sebbene in senso ampio possa essere definito come «qualunque schema o procedimento siste­matico di calcolo» [25] –, oggi, per lo più, identifica un software costituito, a sua volta, dai c.d. codici sorgenti o linguaggio sorgente, che rappresentano le istruzioni, fornite dagli operatori umani [26] per eseguire una certa funzione o risolvere un determinato problema [27].
Dette istruzioni possono essere assimilate a scatole (box) nelle quali vengono inseriti i dati necessari a ottenere i risultati voluti.
Naturalmente, non esiste un solo tipo di procedimento di calcolo, ma infinite varianti che possono essere distinte a seconda della loro complessità. Impiegare modelli automatizzati, in altre parole, è un po’ come utilizzare una ricetta gastronomica [28]: non esiste un solo modo per cucinare un piatto, ma ingredienti e quantità possono variare a seconda del cuoco.
In alcuni casi, ad esempio, l’algoritmo può essere di tipo semplice, ossia il suo modello operativo è completamente o parzialmente determinato dello stesso operatore nel momento della sua creazione, per impiegare un numero limitato di dati, secondo il modello della c.d. scatola bianca [29]. Nel caso della c.d. scatola grigia, invece, il risultato, pur non essendo completamente predeterminato, può essere facilmente predetto e compreso al termine del processo.
Per la c.d. scatola nera [30], al contrario, i risultati sono molto difficili o addirittura impossibili da comprendere per qualsiasi persona fisica coinvolta nella sua azione.
Secondo questa classificazione, inoltre, sarebbe altresì possibile individuare due ulteriori tipologie di algoritmo ancora più evoluto e complesso: un c.d. senziente, ossia in grado di superare il c.d. Test di Turing [31] e quindi “equi­parabile” al funzionamento dell’intelligenza umana; e uno dotato di “singolarità”, capace cioè di apprendere e migliorarsi, senza alcun intervento esterno (in altre parole una sorta di super-intelligenza [32]).
I procedimenti di calcolo – che sempre più spesso vengono impiegati per offrire nuovi prodotti e servizi finanziari – oggi si avvalgono della tecnologia dei c.d. Big Data [33].
Mentre nei modelli più semplici, gli algoritmi elaborano centinaia di campioni sulla base di una decina di variabili (scatola bianca o grigia); quelli più complessi possono analizzare milioni o bilioni di campioni sulla base di centinaia o migliaia di variabili (scatola nera o senziente) [34], grazie a tecniche di analisi dei dati (Data mining [35]), che operano tramite un processo di apprendimento automatico (machine learning) o talora di intelligenza artificiale [36].
L’apprendimento automatico [37], in particolare, consente alla macchina «di apprendere specifici compiti direttamente dai dati, senza la necessità di una esplicita, dedicata programmazione» [38], grazie alla sua capacità di imparare e di fare associazioni sulla base di meri esempi di partenza [39].
Essi, in altre parole, non sono programmati per risolvere problemi, ma per imparare a risolverli [40], ed ecco perché l’apprendimento automatico consente di operare in assenza di una specificazione “a priori” delle relazioni funzionali tra le variabili [41], lasciando semplicemente parlare i dati [42].
Questo tipo di elaborazione comprende di solito almeno due operazioni parallele, ossia due tipi di algoritmi diversi: il classifier e il learner [43]. Il primo si occupa di elaborare i dati e produrre, su quella base, un determinato risultato. Il secondo, invece, testa questi risultati al fine di attribuire loro una matrice del peso che sarà poi in seguito utilizzata dal primo algoritmo per classificare nuo­vi dati e situazioni che i programmatori non avevano considerato all’inizio.
Una simile operatività, di conseguenza, non segue la logica umana e può sfuggire alla stessa comprensione dei suoi creatori [44], poiché la funzionalità dell’algoritmo acquista una propria autonomia e, con il tempo, muta profondamente e si evolve rispetto alla “forma” che aveva all’inizio e che è stata intenzionalmente predisposta in sede iniziale.
Detti nuovi sistemi di analisi dei dati [45], a differenza di quelli utilizzati in passato, non rispondono a una determinata domanda, ma ricercano relazioni statistiche in un determinato insieme di dati [46], per individuare modelli utili per il successivo processo decisionale [47].
L’essenza dei Big data, infatti, non è solo collegata alla quantità di informazioni che, nell’attuale realtà, possono essere prodotte e raccolte, quanto piuttosto ai risultati di “predizione” [48] che poggiano su inferenze e connessioni, di dati correlati [49].
Non a caso, anche se impropriamente, il termine Big data può essere assimilato alla c.d. analisi predittiva, ossia a quella scienza che consente di trovare connessioni e correlazioni tra un ampio e spesso variegato tipo di informazioni, grazie alle quali fare predizioni [50].
Una simile operatività, di conseguenza, può essere, di norma, intesa solo da talune persone dotate di particolari competenze [51].
Anche gli esperti, poi, in quanto esseri umani, scontano in ogni caso la difficoltà di dialogare con una macchina che risponde secondo una semantica interpretativa molto diversa [52].
Le macchine, in altre parole, “pensano” in modo «unintuitive, random and disorganized» [53], ossia secondo una modalità totalmente incomprensibile per le logiche epistemologiche umane che a fronte di un problema ricercano sempre una risposta in termini di “come” (how) e “perché” (why).
Questo conflitto/incomprensione a livello cognitivo [54] è destinato a divenire sempre più acuto, con l’aumento delle loro capacità di calcolo [55] e di ciò occorre senz’altro tener conto ai fini di un loro eventuale controllo e regolazione [56].
L’opinione, secondo cui la sostituzione del giudizio algoritmico a quello u­mano, necessita di specifiche cautele e controlli, si rafforza se si considera altresì che un simile potenziale non trova applicazione solo in caso di algoritmi di gestione quantitativa [57], ma anche di quelli di profilazione della clientela (che sono finalizzati a «valutare determinati aspetti personali relativi a una persona fisica, in particolare per analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze personali, gli interessi, l’affidabilità, il comportamento, l’ubicazione o gli spostamenti di detta persona fisica», art. 4, n. 4, reg. 679/2016 [58]).
2.1. Gli algoritmi profilanti
Le potenzialità delle nuove tipologie di algoritmi diventano particolarmente evidenti nel momento in cui vengono impiegati per monitorare i comportamenti degli individui, al fine di consentire una maggior segmentazione granulare della clientela sulla base [59] dei loro comportamenti e gusti [60].
Detta distinzione, infatti, ormai costituisce un elemento fondamentale in tutti i mercati e soprattutto in quello finanziario ove le caratteristiche del cliente/in­vestitore sono un requisito imprescindibile per l’offerta di prodotti e servizi [61].
Di conseguenza, è evidente che l’utilizzo di algoritmi profilanti, sempre più performativi, possa apportare grandi benefici alle strategie di business delle imprese di settore [62].
Tra i vantaggi devono senz’altro richiamarsi gli effetti legati alla capacità di meglio adeguare la qualità di prodotti e servizi alle esigenze dei clienti [63], oltre all’impatto sull’attività di marketing e di fidelizzazione della clientela.
Le più ampie informazioni sul cliente, inoltre, possono consentire alle imprese di definire con maggior precisione il giusto prezzo dei prodotti finanziari, per evitare pericolosi fenomeni di adverse selection e free riding [64]. Nell’ambito della valutazione del rischio di credito, ad esempio, recenti studi hanno messo in luce come il ricorso a tecniche di BDA possa migliorare l’accuratezza dei giudizi, utilizzando nuovi modelli di reti connesse (correlation network) [65] che si riferiscono al soggetto richiedente aumentando le informazioni a disposizione del finanziatore.
Dalla specifica prospettiva dei consumatori, poi, un’informazione più granulare può consentire di individuare un maggior numero di prodotti e servizi adatta al proprio profilo [66], oltre che garantire un’eventuale riduzione dei costi [67].
Nello stesso tempo, però, simili pratiche presentano notevoli profili problematici, primo fra tutti l’impatto sulla tutela della privacy dei singoli assoggettati al procedimento di profilazione [68]. Come è già stato più volte sottolineato, infatti, l’attuale GDPR non sembra in grado di tutelare effettivamente i dati dei singoli [69].
Inoltre, come ha messo in luce lo stesso Financial Stability Board, le modalità di funzionamento di algoritmi complessi rischiano di rendere il sistema estremamente opaco [70] e difficilmente comprensibile [71].
Alcune ricerche, inoltre, – per lo più relative al settore USA della valutazione del merito creditizio – hanno evidenziato come spesso le analisi siano condotte sulla base di dati errati o, comunque, possano dare talora risultati scorretti [72], oltre che discriminatori [73].
In proposito, è importante porre una precisazione. È evidente che anche le valutazioni condotte da persone fisiche non siano esenti da critiche e possano essere senz’altro affette da errori o causare discriminazioni. Non a caso, esse sono state oggetto di attenta considerazione da parte del regolatore che ha introdotto una serie di vincoli per ridurne gli effetti negativi.
Ormai da anni, ad esempio, nell’ambito di settori sensibili quali la valutazione del merito creditizio sono state introdotte una serie di misure – a livello europeo, per lo più introdotte nell’ambito della disciplina sulla tutela dei dati personali – tese non solo a imporre la veridicità, la correzione e l’aggiornamento dei dati utilizzati dai finanziatori, ma altresì a vietare determinate tipologie di dati considerati pericolosi dal punto di vista dell’impatto sui singoli [74].
Dette difese, però, non valgono quando la valutazione viene condotta tramite i nuovi algoritmi profilanti di cui si è detto. In proposito basti considerare il problema dei c.d. dati inferiti, ossia di quei dati che proprio l’analisi dei big data e l’intelligenza artificiale «draw non-intuitive and unverifiable inferences and predictions about behaviours, preferences, and private lives of individuals» [75], che non sono assolutamente considerati dallo stesso GDPR.
I dati raccolti e analizzati possono, poi, (anche se corretti) determinare una serie di gravi pericoli per gli utenti, dovuti proprio alla possibilità di una maggior distinzione granulare della clientela [76].
La Big data Analytics consente di individuare il comportamento standard più proficuo per una determinata impresa comportando, di conseguenza, la distinzione rispetto a una serie di altre condotte che non presentano un profilo di rischio, che potremmo definire “idoneo” per l’intermediario.
Questa dinamica può essere particolarmente evidente nel settore assicurativo e bancario, orientati a distinguere i clienti proprio sulla base di questo presupposto. Una maggior segmentazione granulare può così condurre alla individuazione di una serie di consumatori che potrebbero essere catalogati come “indesiderabili”, portando a un effetto di vera e propria “esclusione” di una categoria di soggetti da certi prodotti e/o servizi [77].
Le informazioni potrebbero anche consentire alle imprese di differenziare il prezzo di prodotti e servizi per certi consumatori, pur appartenendo al medesimo target, sulla base della predisposizione individuale a pagare un prezzo maggiorato, c.d. discriminazione dei prezzi [78].
Un altro aspetto da considerare è, ancora, senz’altro costituito da quelle categorie di soggetti che non sono in grado di utilizzare le connessioni a internet o le altre tecnologie. Nel momento in cui le imprese si accingono a catalogare gli utenti in base ai diversi profili ricostruiti sulla base delle informazioni raccolte sul web, tutti questi soggetti rischiano di essere definitivamente esclusi da qualsiasi servizio, così come coloro che non volessero condividere i propri dati.
L’utilizzo delle nuove potenzialità di elaborazione dati, infine, si potrebbe prestare a un ulteriore uso distorsivo da parte delle imprese finanziarie, consentendo loro di monitorare e prevedere il gradimento degli utenti verso un certo tipo di prodotto o servizio, che potrebbe essere offerto al cliente anche senza una sua scelta effettiva in tal senso.
3. Gli algoritmi e il mercato finanziario
Già da queste brevi osservazioni emerge come gli algoritmi in generale, e quelli profilanti ancor più, sembrerebbero richiedere attenzioni particolari per la gestione delle caratteristiche e dei rischi loro propri.
Una posizione che sembra cominciare a essere condivisa anche dalle autorità preposte alla regolazione e alla vigilanza del mercato finanziario al di là del più volte richiamato principio di neutralità tecnologica.
3.1. La negoziazione ad alta frequenza
Un primo settore, ove si può cogliere la tendenza alla regolazione e al controllo del procedimento algoritmico, è senz’altro la negoziazione algoritmica ad alta frequenza (High Frequency Trading o HFT) [79] – intesa come sottoinsieme della più ampia categoria di trading che poggia su ordini gestiti in modo automatico – in cui le sequenze sono elaborate ad altissima velocità (es. 7 mila operazioni in un istante) [80].
L’HFT è generalmente utilizzato per negoziazioni per conto proprio, basate su algoritmi, finalizzati a realizzare profitti tramite arbitraggi tra diversi mercati e con tempi di esecuzione infinitesimali, che sfruttano l’intervallo tra ordine ed esecuzione («latency») [81]. Gli algoritmi di gestione quantitativa sono programmati per svolgere una serie elevatissima di transazioni, secondo diverse strategie di investimento che poggiano sulla lettura di un’ampia mole di informazioni, per garantire la maggior profittabilità possibile.
Come è noto, il fenomeno si è imposto all’attenzione dell’opinione pubblica a seguito del c.d. Flash Crash del 2010 [82], che portò a cancellare in pochi minuti oltre mille miliardi di dollari e costituisce, secondo opinione condivisa, l’u­nico caso di “errore algoritmico accertato”, risolto, peraltro, dall’algoritmo stesso che ha provveduto a bloccarsi grazie a un ordine di arresto previsto dagli stessi programmatori.
L’attività di HFT costituisce un’evoluzione radicale del servizio di negoziazione per conto proprio che gli intermediari possono svolgere senza l’ausilio algoritmico.
Al di là, infatti, della strategia attuata e della complessità dell’algoritmo impiegato per realizzarla, le operazioni comportano una velocità di esecuzione imparagonabile rispetto alle negoziazioni effettuate dalle persone fisiche e, proprio per questo, presentano una serie di peculiarità e di rischi che sono loro propri [83].
Una dimostrazione della correttezza di questo assunto è costituita dalle regole ad hoc, che sono oggi contenute nella direttiva 65/2014 c.d. MIFID 2 [84], così come recepite nelle norme di attuazione nazionale.
In particolare, le banche e le Sim, che svolgono negoziazione algoritmica, nonché le sedi di negoziazione, ove si svolgono dette contrattazioni, sono soggetti a una serie di obblighi specifici e a una vigilanza ulteriore da parte della Consob [85].
Senza alcuna pretesa di esaustività, si può ad esempio ricordare che le sedi di negoziazione devono disporre di sistemi procedurali efficaci al fine di «i­dentificare, attraverso la segnalazione di membri o partecipanti o clienti, gli ordini generati mediante negoziazione algoritmica, i diversi algoritmi utilizzati per la creazione degli ordini e le corrispondenti persone che avviano tali ordini». Questo poiché tutti gli ordini emessi, modificati e cancellati devono essere accuratamente registrati (art. 65-sexies, TUF).
Le banche e le SIM, a loro volta, devono introdurre una serie di sistemi di controllo sulla resilienza, sulle soglie e limiti di negoziazione appropriate, in modo tale da impedire di inviare ordini erronei o recare pregiudizio alle negoziazioni (art. 67-ter, comma 1, lett. a, TUF). Essi devono, inoltre, introdurre meccanismi efficaci per garantire la continuità operativa e rimediare a eventuali malfunzionamenti. Detta attività avviene sotto il controllo della Consob che non deve solo essere informata dell’eventuale attività di HFT, ma ha altresì il potere di richiedere informazioni sulla natura delle strategie di negoziazione algoritmica poste in essere, sui parametri e limiti di negoziazione adottati, et. (art. 67-ter, commi 2 e 3, TUF).
3.2. La consulenza finanziaria automatizzata
Un altro ambito Fintech, ove negli ultimi anni si è diffuso il ricorso ad algoritmi e dove si comincia a intravede la medesima tendenza alla loro regolazione e controllo, è costituito dalla c.d. consulenza finanziaria automatizzata (o robo-advice). Con questo termine si suole fare riferimento a quella multiforme categoria, a cui possono essere ricondotte diverse fattispecie, tutte caratterizzate dalla presenza di piattaforme on-line che creano, gestiscono, ribilanciano e controllano portafogli di investimento da consigliare agli investitori [86]. Il rapporto tra robot advisor e consulente, peraltro, può essere totalmente o parzialmente automatizzato (c.d. ibrido) a seconda della possibile interazione di una persona fisica.
La componente algoritmica – in questo caso finalizzata alla profilazione – è stata finora considerata dalle autorità sia internazionali [87], sia europee [88] quale mera modalità alternativa di offerta del tradizionale servizio di consulenza, in apparente pieno ossequio del principio di neutralità tecnologica [89].
Ad essa, infatti, si ritiene debbano essere per lo più applicate le regole generali oggi contenute negli artt. 21 e 24-bis TUF, relative agli obblighi di informazione preventiva del cliente e di condotta in capo all’intermediario.
Tuttavia, l’ESMA [90] non ignora i rischi legati all’automazione del servizio di consulenza e, più precisamente, paventa i pericoli connessi all’uso di algoritmi non solo per il difficile accesso alle informazioni e alla capacità di processarle da parte del consumatore, ma soprattutto per eventuali difetti nel funzionamento dell’algoritmo dovuti a errori, manipolazioni o hackeraggio. Senza dimenticare i problemi legati al difficile riparto di responsabilità.
Questo atteggiamento ambivalente trova conferma nelle sue linee guida sull’adeguatezza nella prestazione dei servizi di consulenza in materia di investimenti e di gestione di portafoglio recentemente adottati [91].
L’autorità europea, infatti, sebbene non abbia introdotto uno specifico statuto dedicato ai c.d. robo-advice – come invece aveva proposto nel documento di consultazione – è comunque costretta a precisare che «L’applicazione di alcuni orientamenti è considerata particolarmente pertinente quando le imprese forniscono “consulenza automatizzata” … a causa della loro limitata (o nulla) interazione tra i clienti e personale delle imprese» [92].
Naturalmente, l’ESMA giunge a questa conclusione in uno strumento di soft law, che non introduce dunque obblighi assoluti per gli intermediari, ma con questa scelta indica comunque un percorso verso la costituzione di una serie di disposizioni specifiche per i soggetti che forniscono consulenza automatizzata, ossia forniscono «servizi di consulenza in materia di investimenti o di gestione di portafogli (integrale o parziale) attraverso un sistema automatizzato o semiautomatizzato utilizzato come strumento a contatto con la clientela» [93].
Tra le previsioni, che dovrebbero essere seguite di preferenza dai soggetti che propongono una consulenza automatizzata, si possono richiamare alcuni obblighi di informazione nei confronti dei clienti che comprendono una spiegazione chiara: 1. circa il livello di coinvolgimento della componente umana e il modo in cui si può chiedere detto intervento; 2. circa il modo in cui le risposte fornite dai clienti influiranno in modo diretto sulla determinazione dell’idoneità delle decisioni di investimento raccomandate o adottate per loro conto; 3. le fonti di informazioni utilizzate (ad esempio, se verrà utilizzato solo l’eventuale questionario on-line o se sono previste altre informazioni per l’erogazione della consulenza); 4. sul come e quando i dati del cliente saranno aggiornati [94].
Le imprese, inoltre, sono tenute a mettere a disposizione degli utenti, soprattutto attraverso il loro sito, le informazioni più rilevanti (tramite l’uso di pop-up), oltre a dover valutare se siano necessari testi interattivi o altro che meglio consentano ai clienti di acquisire informazioni supplementari.
Si noti che anche per questo aspetto, il documento posto in consultazione era molto più incisivo, prevedendo specifici obblighi di disclosure nei confronti dei consumatori che avevano ad oggetto anche la componente algoritmica e la sua funzionalità [95]. Tutti profili che sono stati ancora una volta espunti dalla versione definitiva.
Oggi, di conseguenza, secondo il testo approvato, l’utente viene informato dei soli input (ossia dati) che vengono utilizzati per addivenire al processo decisionale, senza invece avere alcuna indicazione sul modo in cui quei dati vengono elaborati.
Ulteriori obblighi sono poi introdotti con riferimento alla governance delle imprese, che viene proceduralizzata e quindi sottoposta al controllo dell’auto­rità di vigilanza.
Gli orientamenti, infatti, richiedono una particolare attenzione sulla predisposizione dei questionari on line (punto 32) e soprattutto circa il funzionamento degli strumenti automatizzati (punto 82).
In questo secondo caso, acquista particolare rilievo l’obbligo per le imprese di garantire la coerenza della valutazione dell’adeguatezza, monitorando e verificando “periodicamente” gli algoritmi. E per far ciò le imprese dovrebbero documentare l’intero ciclo di vita dell’algoritmo (per portata, struttura e finalità) oltre a prevedere piani per verificarne e testarne il funzionamento; modalità di correzione di eventuali difetti; oltre a rivedere e aggiornare gli algoritmi. A tal fine sarà necessario che l’impresa possa disporre di risorse adeguate (sia umane sia tecnologiche) per monitorare e supervisionare i risultati [96].
Grande attenzione dovrebbe essere posta, poi, sulla competenza tecnica del personale coinvolto [97] e sui rischi connessi all’attività informatica dolosa [98].
Queste previsioni paiono dimostrare come il ricorso a strumenti tecnologici richieda l’introduzione di regole/procedure ad hoc, che mirino a controllare e verificare il funzionamento dell’algoritmo sottoponendolo a periodici test.
In altre parole, l’attività di consulenza e il connesso giudizio di adeguatezza condotto da un algoritmo – e non da una persona fisica – se anche non muta la natura del servizio, introduce una serie di problematicità che sono tipiche di quello strumento (ossia tipologia di dati utilizzati, modalità con cui vengono processati, rischi di tipo informatico), che necessitano di un ulteriore aggravio procedurale (la già citata algo-governance) [99].
Proprio in sede di discussione delle linee guida, del resto, molti operatori hanno sottolineato l’importanza dell’attività di controllo e di test sugli automated advice tools sia in fase di ideazione, sia di funzionamento, condotta tramite pre-test degli algoritmi, oltre a richiedere lo sviluppo di conoscenze appropriate e staff qualificato inclusi advisors/control functions rik, compliance e internal audit per garantirne il buon funzionamento.
3.3. La valutazione del merito creditizio
La tendenza alla regolazione della componente algoritmica trova conferma anche nel terzo settore oggetto della nostra indagine, ossia nella valutazione del merito creditizio, inteso come il vaglio, attraverso la raccolta di informazioni, dell’affidabilità e della probabilità di default di un determinato richiedente un prestito [100].
Anche in questo caso, infatti, è proprio il ricorso a tecniche sempre più complesse di analisi che pare aver indotto la Banca centrale europea a intervenire in un momento tradizionalmente lasciato alla discrezionalità dell’inter­mediario.
Con le nuove linee guida della Banca Centrale Europea sulle autorizzazioni è stata introdotta una fase di valutazione addizionale relativa alla governance e alla struttura del processo decisionale creditizio [101], per le sole Fintech Banks, ossia per quegli istituti di credito caratterizzati da «technology-enabled innovation in financial services that could result in new business models, applications, processes or product with an associated material effect on the provision of finacial services» [102].
Una simile scelta è legata a timori per la stabilità finanziaria del singolo istituto di credito e del sistema finanziario nel suo complesso.
In particolare, proprio con riferimento alla valutazione del merito creditizio, la decisione muove dalla consapevolezza che simili soggetti abbiano spesso un difficile accesso alle informazioni sui potenziali debitori e, per questo motivo, tendano a esternalizzare verso terzi il compito di svolgere detta valutazione, ovvero utilizzino “alternative sources of data” e “alternative credit-scoring methodologies”, pur in assenza al momento di dati certi circa la loro affidabilità.
In particolare, le Fintech Banks, che pur utilizzano metodi tradizionali di valutazione del merito, devono dimostrare di avere un efficace processo di approvazione dei prestiti, che consenta altresì l’eventuale correzione e aggiornamento dei dati anche in caso di rinegoziazione dei contratti. Nello specifico, il finanziatore deve rendere noti la tipologia dei dati utilizzati nel procedimento di valutazione (ivi inclusa la provenienza) nonché le modalità approntate per garantire la qualità di dette informazioni [103].
Per quanto riguarda più propriamente la fase del credit scoring, alle autorità spetta il compito di verificare la fattibilità (feasibility) del modello di credit scoring adottato dal richiedente [104], che potrà essere definito sia direttamente dalla Fintech bank, grazie a un procedimento in house, ovvero affidato a un provider esterno [105].
Alle autorità spetta, altresì, valutare la documentazione relativa al modello di credit scoring oltre a vagliare come questo sia compreso nell’ambito della banca, sia dai dirigenti, sia dai dipendenti coinvolti nella concessione dei finanziamenti. Infine, nella fase di valutazione, devono essere considerati il nu­mero di persone e le risorse coinvolte nello sviluppo e nel mantenimento del sistema di scoring.
Qualora, invece, le Fintech banks utilizzino tipologie di dati e modelli di analisi alternativi, la guida impone ulteriori adempimenti oltre a quelli appena richiamati [106].
In primo luogo, la BCE e le Autorità nazionali devono verificare che l’utilizzo di siffatti sistemi sia supportato da un appropriato sistema di gestione del rischio oltre che da sufficienti garanzie di capitale. Allorché, poi, detti sistemi alternativi siano utilizzati da un terzo provider a cui si è rivolta la banca, il controllo deve avere ad oggetto i sistemi di controllo del rischio della banca stessa. In questo secondo caso, la verifica deve accertare se il rischio di outsourcing sia adeguatamente controllato e se il processo di credit scoring e le fonti dei dati siano accuratamente documentate e comprese dalla banca. Inoltre, si deve appurare se la banca e le autorità di vigilanza abbiano il diritto di esercitare un controllo sulle attività di credit scoring date in outsourcing.
A differenza di quanto accaduto fino a oggi, le linee guida della BCE introducono, di conseguenza, una più dettagliata regolazione della fase di credit scoring, che viene assoggettata a una più attenta procedimentalizzazione e successivo controllo da parte dell’autorità, in vista di una maggiore stabilità dell’intermediario creditizio.
4. Alcune considerazioni circa i limiti del principio di neutralità tecnologica
Alla luce delle osservazioni che precedono, appare evidente come in tutti e tre i settori, le autorità abbiano inserito specifiche regole circa il procedimento algoritmico, che devono essere seguite dall’intermediario che se ne avvale.
Anzi, potremmo dire che l’algoritmo sembra divenire motivo di interventi ad hoc per disciplinare aspetti/fasi che in precedenza erano lasciati alla sostanziale discrezionalità dei singoli operatori.
Naturalmente, i settori presentano un livello di maturazione molto diverso. Nell’HFT, infatti, sono già presenti regole di rango primario, mentre gli altri due ambiti sono ancora in una fase “embrionale” con norme di soft law, che già delineano però una linea di tendenza.
L’utilizzo di algoritmi complessi nell’offerta di servizi finanziari sembra incidere in maniera rilevante sulle modalità con cui il servizio finanziario viene offerto, inverando una serie di nuovi rischi – connessi all’operatività altamente performativa dell’algoritmo, soprattutto quando connesso all’uso dei big data – che devono essere tenuti in considerazione da tutte le parti in causa.
Un simile assunto comporta, pertanto e prima di tutto, di ammettere i limiti del principio di neutralità tecnologica con riferimento alla regolazione della componente algoritmica.
Come del resto hanno già messo in luce alcune autorità di settore [107], sarebbe necessario adattare alla nuova tecnologia anche le regole tecniche di vigilanza. Sebbene, infatti, le imprese assumano un ruolo di primo piano nel­l’attività di monitoraggio e controllo sui loro processi, grazie all’introduzione di best practices, tuttavia, è indubbio che anche le autorità di vigilanza debbano implementare le loro capacità per verificare la tecnologia e i modelli di business da queste ultime impiegate. In particolare, è necessario che esse acquisiscano la capacità di vagliare sia il profilo relativo ai dati impiegati sia il risultato ottenuto, soprattutto nel caso di algoritmi profilanti che incidono in modo rilevante sulla situazione dei singoli.
L’autorità francese, in particolare, suggerisce che il regolatore debba acquisire la capacità di “review alghoritms” «as part of the vetting process of authorization» [108].
In questa prospettiva, non solo il principio di neutralità tecnologia diviene più una «base di partenza da cui muovere che … un limite oltre il quale non è consentito spingersi» [109]; ma si potrebbe addirittura auspicare l’introduzione di un approccio regolatorio di tipo tecnological based, che possa magari anche affiancarsi e intrecciarsi ai più noti entity based [110] e activity based [111].
In altre parole, si potrebbe immaginare di fissare una serie di regole (o principi) di “algo-governance” [112] che dovrebbero essere adottati trasversalmente e indipendentemente dal servizio offerto e dal soggetto proponente, soltanto in virtù della tecnologia algoritmica di cui ci si avvale [113].
5. Algo-governance e risk based regulation
Tuttavia, a ben guardare, anche riconoscere la necessità di peculiari forme di “controllo” e “regolazione” degli algoritmi, lascia irrisolta l’annosa questione relativa alle modalità con cui ottenere detto risultato [114].
La loro attitudine a imparare, infatti, li rende intrinsecamente diversi dai fenomeni finora considerati dal legislatore e richiede una seria riflessione circa le possibili soluzioni [115].
Non a caso, al momento, tutti e tre gli esempi più sopra richiamati adottano un approccio di risk based regulation [116], ossia non introducono regole specifiche (circa le modalità di funzionamento dell’algoritmo), ma lasciano alle autorità il compito di vigilare (ex ante oppure ex post) sui sistemi ideati direttamente e liberamente dagli operatori.
In questi casi, «il regolatore … riveste … un ruolo di auditor, con responsabilità di monitoraggio e incentivazione dei sistemi di regolazione adottati dalle imprese e dagli organismi regolati» [117]. Il solo punto su cui, del resto, le opinioni [118] generalmente concordano riguarda la necessità di imporre, alle imprese che si avvalgono di siffatte procedure, una maggior accountability [119].
Con riferimento a questo profilo, diviene fondamentale individuare un punto di equilibrio tra le esigenze di riservatezza degli operatori e quelle di trasparenza [120].
Come però si è cercato di mettere in luce in questa sede, ciò è tutt’altro che semplice. È proprio il funzionamento dell’algoritmo che può opporsi ai tentativi di comprensione dell’autorità di vigilanza [121], anche se con livelli di difficoltà diversi a seconda che ci si riferisca ai dati utilizzati ovvero alla metodologia con cui sono elaborati.
Imporre, infatti, alle imprese una maggior trasparenza circa la tipologia dei dati, utilizzati nell’ambito dei procedimenti algoritmici, non presenta profili di particolare criticità.
Le stesse linee guida della BCE e dell’ESMA prevedono l’obbligo di rendere noti la tipologia di dati e le fonti di cui ci si avvale per procedere all’ana­li­si [122], consentendo così all’autorità di vigilanza e al privato di verificare su quali dati minimi sia avvenuta la valutazione.
Nel caso in cui la verifica dovesse evidenziare l’utilizzo di dati non idonei allo scopo, si può ipotizzare che le autorità di vigilanza, in fase di controllo, possano indicare le misure idonee a rendere più efficace il processo di valutazione (suggerendo, ad esempio, l’utilizzo di ulteriori dati).
Anche le prime proposte di regolazione della dottrina americana [123], sul credit scoring basato sulla BDA, poggiano proprio sull’imposizione di obblighi informativi periodici concernenti la tipologia di dati raccolti e utilizzati per le valutazioni, le fonti da cui i dati provengono, le modalità di raccolta nonché il punteggio attribuito a ciascun tipo di dato in vista dell’assegnazione del credit scoring.
Più problematico, invece, è individuare il livello di trasparenza richiesto/im­posto al titolare del trattamento con riferimento agli algoritmi e alle procedure di calcolo utilizzate [124].
Le linee guida attribuiscono alla BCE il compito di accertare la fattibilità (feasibility) del modello di credit scoring adottato dal richiedente.
Una tale verifica, però, dovrebbe fondarsi sulla conoscenza e comprensione [125] dell’algoritmo e delle metodologie utilizzate.
In questo caso, l’autorità di vigilanza può trovarsi di fronte ad alcune resistenze, senz’altro motivate da esigenze legate al suo sfruttamento proprietario [126], ma anche e soprattutto a ragioni connaturate all’essenza dell’algoritmo stesso [127], che possono rendere sostanzialmente inutile anche la messa a disposizione dello stesso “system’s source code” [128]. Quest’ultimo, infatti, non consente in alcun modo di far luce sui sistemi di machine learning proprio perché il processo decisionale che si applica grazie ad essi è finalizzato a individuare delle soluzioni che non sono all’inizio neppure ipotizzabili e tanto meno spiegabili secondo le logiche del ragionamento umano.
6. Algo-governance e controllo delle performance
Preso atto di queste difficoltà, un possibile controllo sui sistemi di elaborazione e sugli algoritmi in essi impiegati potrebbe essere al momento attuato, più efficacemente, attraverso una prima verifica dei dati utilizzati e, in seguito, del risultato prodotto.
La questione relativa alla modalità di funzionamento della scatola nera dell’algoritmo [129] potrebbe, invece, essere tralasciata (evitando così di addentrarsi in questioni estremamente tecniche e che coinvolgono altresì problemi di tutela proprietaria). Seguendo questo approccio, le autorità di vigilanza potrebbero limitarsi a verificare se l’algoritmo risponde alle finalità che gli sono state assegnate, con un’alta capacità di previsione – ad esempio, individuazione del livello di creditworthiness del singolo consumatore o adeguatezza del portafoglio di investimento selezionato –, senza dar luogo a condotte lesive (ad esempio, realizzando un effetto discriminatorio o penalizzante per certe categorie di soggetti) [130].
Naturalmente, per effettuare questa stima, è necessario prima di tutto individuare la finalità che deve essere perseguita dall’algoritmo e, poi, monitorare costantemente la sua performance, tenendo una cronistoria dell’anda­mento, durante tutto il ciclo di attività seguendo le indicazioni che del resto sono già contenute nelle linee guida dell’ESMA.
Qualora l’autorità, all’esito della verifica, riscontri errori nelle performance degli algoritmi, essa dovrebbe avere il potere di imporre la sospensione/revi­sione e l’eventuale correzione del suo funzionamento, anche attraverso l’intro­duzione di correttivi e filtri da applicare agli output.
Questa soluzione è assimilabile all’ipotesi delle c.d. “Second Order Rules”, ossia filtri che possono essere inseriti dopo il processo di elaborazione dei dati dal programmatore per correggere eventuali malfunzionamenti (o meglio risultati che rischiano di produrre un bias per il singolo o violare una disposizione di legge) del processo di elaborazione dei dati [131]. Così facendo l’algoritmo non dovrebbe essere modificato, ma solo limitato [132].
Adottando questa modalità, sembra possibile vigilare sul funzionamento del sistema di elaborazione e intervenire, qualora vengano riscontrati risultati lesivi dei diritti dei singoli o comunque scorretti in termini di predittività.
Il sistema, ad esempio, non deve essere adoperato per individuare e sfruttare soggetti più vulnerabili, avvallando condotte predatorie [133], così come devono essere vietati i modelli che «“treat a significant any data points or combinations of data points that are highly correlated” to sensitive characteristics and affiliations» [134].
In ogni caso, poi, i dati e le conseguenti elaborazioni dovrebbero essere utilizzati unicamente per i fini per cui sono stati raccolti.
7. Algo-governance e product based regulation
Qualora poi, nel prossimo futuro, il regolatore scelga di non limitarsi a un approccio risk based ma decida di passare a un modello product based, potrebbe prevedere una serie di standard e requisiti di qualità relativi ai dati utilizzati e agli algoritmi impiegati nel processo di analisi, finalizzati a renderlo più efficace, efficiente e trasparente.
Per quanto riguarda i dati, ci si potrebbe, innanzitutto, interrogare sull’op­portunità o meno di limitare la tipologia di informazioni utilizzate soprattutto nell’ambito degli algoritmi profilanti. Ad esempio, potrebbe essere imposta la necessità di un collegamento tra la situazione economico-finanziaria del singolo e le informazioni utilizzate, oppure si potrebbe continuare a ritenere possibile anche l’utilizzo di dati di natura diversa (quali i negozi in cui si preferisce fare la spesa, le abitudini nel tempo libero, etc.) ovvero quelli di tipo social o inferiti cui già si è fatto cenno.
È evidente che decidere di limitare il ricorso all’una piuttosto che all’altra categoria di informazioni può dipendere, in primo luogo, da una verifica circa l’efficacia e la predittività di ciascuna tipologia di dato ai fini del processo in cui viene inserito; oltre che da considerazioni di ordine più generale.
Al di là della capacità predittiva, infatti, l’utilizzo di dati che appartengono alla sfera personale del singolo, come nel caso di dati relativi ad amicizie o della stessa reputazione social, implica anche e necessariamente un risvolto sul piano etico, circa il sistema di valutazione che si ritiene “accettabile”.
Proprio con riferimento a questo profilo, una parte della dottrina americana ha, ad esempio, già proposto di vietare, per lo meno a fini di credit scoring, l’uso dei dati social anche in ragione dei loro potenziali effetti discriminatori [135]. Più precisamente, alcuni hanno proposto l’introduzione di un vero e proprio “right to be unnetworking”, ossia il diritto di essere disconnesso, salvo talune limitate eccezioni [136]. Così facendo, l’uso delle informazioni “social” diventerebbe una sorta di nuova categoria di dati sensibili, accomunabile, quanto a disciplina, a quella riservata dal diritto USA ai dati sanitari, che per espressa previsione normativa non potrebbero essere utilizzati per lo scoring dei consumatori [137].
Secondo questa opinione, soltanto un simile radicale rimedio sarebbe in grado di garantire un’efficace tutela ai singoli, che sono ancora inconsapevoli dell’operatività di questi sistemi [138].
La strada del divieto pare, però, una misura particolarmente rigorosa e di difficile attuazione, posto che l’utilizzo dei Big Data e delle informazioni provenienti dai social, sebbene possano rappresentare un rischio per la privacy, costituiranno un patrimonio informativo sempre più importante.
Nella futura realtà datizzata, tutti gli aspetti della nostra vita saranno sempre più collegati alla scia di informazioni digitali che lasceremo dietro di noi sulla rete. Immaginare che la stipulazione di un mutuo, la gestione di portafoglio o di altri contratti finanziari possano non tenerne conto, appare, già al momento, quanto mai di difficile realizzazione.
Anche per quanto riguarda le modalità operative dell’algoritmo, ci si può interrogare circa la possibilità di intervenire in modo diretto già al momento della loro messa a punto, tramite l’introduzione delle c.d. “First order rules”, ossia di principi di carattere generale che si imporrebbero al programmatore già in fase di design del sistema di analisi, pur nel rispetto della libertà di sviluppo.
Simili profili altamente tecnici esulano, naturalmente, dall’ambito di questa trattazione. Qui può essere sufficiente precisare come esempi di misure di questo tipo potrebbero consistere nella richiesta di implementare programmi più in linea con le esigenze di controllo, sicurezza e trasparenza. Non a caso, di recente, l’European Research Council ha premiato due progetti di ricercatori italiani che hanno a oggetto proprio lo studio di sistemi di intelligenza artificiale che siano più sicuri ed efficaci, senza il rischio di violazione della privacy o di pregiudizi [139].
Nello stesso tempo, l’ordinamento potrebbe vietare l’utilizzo di un certo tipo di algoritmo particolarmente pericoloso, attraverso un procedimento di controllo preventivo.
8. Alcune osservazioni necessariamente non conclusive
L’indagine ha cercato di mettere in luce la radicale rivoluzione che i nuovi algoritmi finanziari stanno apportando nell’ambito dei processi decisionali e i conseguenti limiti del principio di neutralità tecnologica.
Nel prossimo futuro, le autorità di vigilanza e il regolatore dovranno attuare un profondo cambio di prospettiva per riuscire a rendere il sistema più trasparente e accountable. Detta tecnologia richiede, infatti, un ripensamento degli istituti tradizionali del diritto quali, in primis, le norme che si riferiscono alla vigilanza, alla responsabilità, al controllo sui processi, ai principi generali a tutela dei dati personali nonché alle regole finalizzate alla tutela della concorrenza, solo per citare alcuni dei profili di maggior rilievo.
È assai probabile, infatti, che, nel prossimo futuro, le nuove metodologie si diffondano in modo capillare tra tutti gli operatori finanziari aprendo, indubbiamente, nuove prospettive e opportunità in questo settore, ma, nello stesso tempo, esponendo il sistema a nuovi rischi, derivanti da un processo decisionale algoritmico che potrebbe essere inferenziale oltre che inconoscibile.
Proprio per questo motivo, si ritiene indispensabile che l’ordinamento si accosti criticamente al fenomeno, al fine di meglio comprenderlo per introdurre la disciplina più idonea per governarlo.
Imperativo dovrà diventare, pertanto, in questo contesto, la ricerca di un equilibrio tra le diverse istanze. In particolare, una grande attenzione dovrà essere posta sia sulla tipologia di dati utilizzabili, sia sulla metodologia con cui processarli.
In attesa che il regolatore e l’autorità di vigilanza riescano a trasformare questa tecnologia in un vantaggio per l’intero mercato finanziario (e non solo per pochi), l’unica protezione del singolo sembra, al momento, essere costituita dalla conoscenza circa la sua operatività. Una conoscenza che parte, prima di tutto, dalla consapevolezza che qualsiasi informazione prodotta e condivisa nel word wild web potrà essere in futuro utilizzata per alimentare sempre più nuovi e performanti algoritmi finanziari.
* Il presente scritto costituisce una rielaborazione del paper “Algoritmi e regolazione: mito o realtà”, presentato in occasione del 4° Convegno ADDE, svoltosi a Venezia il 29 e 30 novembre 2018. Un ringraziamento particolare va ai preziosi suggerimenti giunti dai referees anonimi.
[1]Una delle definizioni più condivise è quella offerta dal Financial Stability Board, Financial Stability Implications from FinTech: Supervisory and Regulatory Issues that Merit Authorities Attention, giugno 2017, secondo cui, FinTech può essere definito come «technology-enabled innovation in financial services that could result in new business models, applications, processes or products with an associated material effect on the provision of financial services». In dottrina sul tema, v. D.W. Arner-J.A. Barberis-R.P. Buckley, The Evolution of Fintech: a New Post-crisis Paradigm?, in Georgetown Journal of International Law, 2016, p. 1271 ss.; M.T. Pa­racampo, Fintech. Introduzione ai profili guridici di un mercato unico tecnologico dei servizi finanziari, Giappichelli, Torino, 2017, p. 3 ss.; G. Falcone, Tre idee intorno al c.d. “Fintech”, in Rivista di diritto bancario, 37, 2018.
[2] Li considera veri e propri “motori propulsivi” ed “elementi essenziali” del FinTech, M.T. Paracampo, FinTech tra algoritmi, trasparenza e algo-governance, in Diritto della banca e del mercato finanziario, vol. 2, 2019; su questo tema v. anche T. Gillespie, The Relevance of Algorithms, in http://citeseerx.ist.psu.edu.
[3]Detto concetto si riferisce a quei sistemi che dimostrano comportamenti intelligenti grazie all’analisi dell’ambiente in cui operano e agiscono, con un certo grado di autonomia, per raggiungere un determinato risultato. Si noti che l’intelligenza artificiale può presentarsi sotto forma di un software, che agisce nella sola realtà virtuale, come accade nel caso di assistenti vocali o software di analisi delle immagini; diversamente, l’a.i può anche essere costituita da una parte hardware (ad es. macchine autonome, droni, etc.); per questa definizione v. Comunicazione della Commissione Europea, Artificial Intelligence for Europe, del 25 aprile 2018, consultabile alla pagina ec.europa.eu/digital-single-market/en/news/communication-artificial-intelligence-eu­rope. In dottrina, l’A.I. è stata definita come «a science and a set of computational technologies that are inspired by – but typically operate quite differently from – the ways people use their nervous systems and bodies to sense, learn, reason, and action», così AA.VV., Artificial Intelligence and life in 2030 – One hundred year study on artificial intelligence, Stanford University, settembre 2016, p. 4.
[4]Parzialmente diversa, rispetto al tema di questa indagine, è la c.d. “algorithmic regulation”, intesa come quel tipo di regolazione di attività condotta essenzialmente sulla base di procedimenti automatizzati, grazie alla raccolta spesso simultanea dei dati, al fine di identificare i rischi e, se necessario, intervenire, cfr. K. Yeung, Algorithmic Regulation: A critical Interrogation, in https://doi.
0rg/10.111/reg.12158. Per un’analisi critica di come le decisioni automatizzate stiano contaminando anche il settore pubblico, con potenziali inquietanti conseguenze, v. C. Coglianese-D. Leher, Regulating by Robot: Administrative Decision Making in the Machine-Learning, in The George­town Law Journal, 2017, vol. 105, p. 1147 ss.; R. Brauneis-E.P. Goodman, Algorithmic Transparency for the Smart City, in Yale J. L. & Tech., vol. 20, 2018, p. 103 ss.; C. O’Neil nel suo Armi di distruzione matematica, Bompiani, Milano, 2017. L’A. ha per l’appunto coniato l’espres­sione “armi di distruzione matematica” (ADM) proprio per riferirsi ad algoritmi che possono trasformarsi in vere e proprie armi, causando ingiustizie e discriminazioni oltre che ingenti danni economici.
[5] Parimenti ritiene che la tecnologia, o comunque la modalità con cui essa viene applicata nell’ambito finanziario, sia importante rispetto al servizio o all’attività considerata, M. Giorgi, Robo-advice: serve una nuova ermeneutica giuridica della consulenza, in https://fchub.it/wp-content/uploads/2018/08/ermeneutica2.pdf.
[6] M. Handzic-F. Tjandrawibawa-J. Jeo, How Neural Networks Can Help Loan Officers to make Better Informed Application Decisions, in Jne Informing Science, 2003, p. 522, ss.
[7]Per una ricostruzione di questa evoluzione nell’ambito del settore creditizio, v. F. Ferretti, The “Credit Scoring pandemic” and the European Vaccine: Making Sense of EU Data Protection Legislation, in Law and Technology, 2009, p. 3 ss.
[8] Termine coniato da A. Aneesh, Virtual Migration, 2006.
[9] Nonostante, infatti, i computer scientist, i programmatori e i matematici tendano a considerare gli algoritmi come qualcosa di «to be strictly rational concerns, marrying the certainties of mathematics with the objectivity of technology», in realtà, essi non sono affatto neutrali e indipendenti, ma possono spesso dare risultati incerti, errati, oltre a rischiare di divenire estremamente performativi, così N. Seaver, Knowing Algorithms, in Media in Transaction 8, Cambridge, MA, agosto 2014, 2013, http://nickseaver.net. Sul tema dell’oscurità degli algoritmi si deve citare, F. Pasquale, The Black Box Society. The Secret Algorithms That Control Money and Information, Harvard, 2015; per R. Kitchin, Thinking critically about and researching algorithms, in Information, Communication & Society, 2017, vol. 20, n. 1, http://dx.doi.org/10.1080/1369118X.
2016.1154087, p. 18, in particolare, essi non sono «neutral, impartial expression of knoledge, their work is not impassive and apolitical. Algorithms search, collate, cort, categorise, group, match, analyse, profile, model, simulate, visualise and regulate people, processes and places».
[10] Ben sottolinea la necessità di non condannarli in assenza di prove certe, M.T. Paracampo, Fintech tra algoritmi, trasparenza, cit. Fino ad ora, infatti, l’unico episodio che si è effettivamente verificato è costituito dal c.d. Flash crash di cui si parlerà nel prosieguo.
[11]R. Kitchin-M. Dodge, Code/space: Software and everydaylife, Cambridge, MIT Press, 2011. Sul tema vedi le osservazioni di M.T. Paracampo, La consulenza finanziaria automatizzata, in M.T. Paracampo (a cura di), Fintech, cit., 143 ove l’A. precisa come «dagli ultimi interventi in materia si evince chiaramente come l’angolo visuale si stia spostando dal contenuto del servizio prestato con gli automated tools verso la qualità e la progettazione degli algoritmi utilizzati, verso una sorta di algo-governance, puntando nel contempo un faro anche su un tema di crescente interesse, quello della responsabilità degli algoritmi, ovvero di quelli che potrebbero considerarsi i nuovi “derivati” dell’era digitale».
[12]E. Medina, Rethinking Algorithmic Regulation, in Kybernetes, 2015, p. 1005 ss., disponibile su www.researchgate.net.
[13] Sul tema v. da ultimo AA.VV., Il Fintech e l’economia dei dati. Considerazioni su alcuni profili civilistici e penalistici, Quaderno Consob, n. 2, del dicembre 2018.
[14] In proposito si vedano, ad esempio, Commissione Europea, Fintech Action Plan: For a more competitive and innovative European Financial Sector, COM (2018) 109/2; EBA, Discussion Paper on the approach to financial technology (FinTech); ESMA, consultazione sulla revisione delle Guidelines on certain aspects of the MIFID II suitability requirements, avviata il 13 luglio 2017 che si è conclusa il 13 ottobre 2017, www.esma.eu.
[15]FSB, Supervisory and Regulatory Issues that Merit Authorities’ Attention, 27 giugno 2017, secondo cui «Big data analytics are driving transformation across industries with the ability to conduct extensive analytics rapidly and enhance risk identification and assessment. Similar to the use of algorithms in other domains, such as securities trading, the complexity and opacity of some big data analytics models makes it difficult for authorities to assess the robustness of the models or new unforeseen risks in market behaviour, and to determine whether market participants are fully in control of their systems». FSB, Artificial Intelligence and machine learning in financial services. Market developments and financial stability implication, 1° novembre 2017, in www.fsb.org.; OICV-IOSCO, Update to the Report on the IOSCO Automated Advice Tools Survey, dicembre 2016 (IOSCOPD552); ASIC, Providing Digital Financial Product Advice to retail clients, Agosto 2016. In dottrina, sulla necessità di elaborare nuove regole sull’integrità degli algoritmi, v. IFM, He et al., Fintech and Financial Services: Initial Considerations, IMF Staff Discussion Note, SDN/17/05, June 2017, consultabile https://www.imf.org/en/Publications/Staff-Discussion-Notes/Issues/2017/06/16/
Fintech-and-Financial-Services-Initial-Considerations-44985; Zetsche et al., From Fintech to Techfin: The Regulatory Challenges of Data-Drive Finance, European Banking Institute Working Paper serie 2017, n. 6, in https://www.smefinanceforum.org/sites/default/files/post/files/SSRN-id2959925.pdf.
[16] Sull’applicazione di questo principio, si v. in particolare da ultimo G. Greco, One size fits all: il cannone e la mosca, intervento al 4° Convegno ADDE, I luoghi dell’economia. Le dimensioni della sovranità, Università Cà Foscari, Venezia 29-30 novembre 2018 (in corso di pubblicazione), che propone, come soluzione al dilemma regolatorio, il ricorso a un modello di regolazione comune per tutti gli operatori c.d. a “matrice”, ossia costruito intorno al concetto di “rischio” nelle sue varie accezioni.
[17]Commissione Europea, Fintech Action Plan: For a more competitive and innovative European Financial Sector, cit.
[18]F. Panetta, Indagine conoscitiva sulle tematiche relative all’impatto della tecnologia finanziaria sul settore finanziario, creditizio e assicurativo (5 dicembre 2017), (Audizione del direttore generale della Banca d’Italia) richiamato anche da G. Falcone, Tre idee intorno al c.d. “Fintech”, cit.
[19]OICV-IOSCO, Update to the Report on the IOSCO Automated Advice Tools Survey, cit.
[20] Con il primo istituto si fa riferimento a una serie di meccanismi/regimi che consentono alle imprese di testare, sulla base di uno specifico accordo con l’autorità preposta alla vigilanza di settore, una serie di prodotti, servizi e modelli di business finanziari di tipo innovativo, così Esas, Fintech: Regulatory sandboxes and innovation hubs, JC 2018/74; in dottrina v. N. Linciano-P. Soccorso, Fintech e Regtech: approcci di regolamentazione e di supervisione, in M.T. Paracampo (a cura di), Fintech, cit., p. 27 ss.
[21]L’innovation hub, invece, costituisce un punto di contatto – quale un numero di telefono, indirizzo email che possono anche essere seguiti da incontri – dedicato alle imprese per avanzare ri­chieste alle autorità sulla tematica Fintech, che riguardano ad esempio la conformità di prodotti, servizi e modalità di business innovativi rispetto ai requisiti richiesti dal regolatore, per questa definizione v. più puntualmente ancora ESAS, Fintech: Regulatory sandboxes and innovation hubs, cit.
[22] M.T. Paracampo, FinTech tra algoritmi, trasparenza e algo-governance, cit.
[23] Con ciò si vuole fare riferimento, ad esempio, alle modalità con cui gli intermediari hanno tradizionalmente proceduto a selezionare i prodotti più adeguati da consigliare a un determinato investitore ovvero a valutare il merito di credito di un richiedente prestito.
[24]T. Gillespie, The Rilevance of Algorithms, in http://citeseerx.ist.psu.edu; P. Dourish, Algorithms and Their Others: Algorithmic Culture in Context, in Big Data & Society, 2016, 3; S. Miyakazi, Algorithmics: Understanding micro-temporality in computational cultures. Computational Colture, Issue 2. Retrieved June 25, 2014, consultabile sul sito http://computational
culture.net/algorhythmics-understanding-micro-temporality-in-computational-cultures/; R. Kitchin, Thinking critically about and researching algorithms, cit., p. 16.
[25] Cfr. Enciclopedia Treccani.
[26] Con questo termine volutamente generico si fa riferimento all’ampio numero di soggetti che possono essere coinvolti nella creazione di ciascun singolo algoritmo: i programmatori, ad esempio, si limitano a scrivere i linguaggi, il contenuto degli algoritmi invece è di competenza di matematici e scienziati che si occupano di decisioni.
[27] Attraverso la predisposizione di un algoritmo “risolutivo”, che si avvale di una serie di dati per produrre un certo risultato, così TAR Lazio Roma, sez. III-bis, sentenza 22 marzo 2017, n. 3769, per il cui commento v. M. Iaselli, Diritto di accesso all’algoritmo, Tar Lazio apre nuovi scenari, in www.altalex.it, del 17 maggio 2017.
[28]S. Venkatasubramanian, When an algoritmhms Isnt’, Medium (Oct. 1, 2015), in https://
medium.com/@.
[29]Cfr. A. Tutt, An FDA for Algorithms?, in Administrative Law Review, 2017, 69, 107, https://
papers.ssrn.com/sol3/papers.cfm?abstract_id=2747994.
[30] In proposito, v. ancora F. Pasquale, The Black Box Society, cit.
[31]Tale test, finalizzato a verificare se una macchina è in grado di pensare, è stato suggerito da Alan M. Turing nel saggio Computing Machinery and Intelligence, in Mind 49, 1950, p. 433 ss.
[32] Sugli inquietanti scenari che una simile possibilità solleva, v. N. Bostrom, Superintelligenza. Tendenze, pericoli e strategie, Bollati Boringheri, Torino, 2018.
[33]Con detto termine si fa solitamente riferimento a un concetto complesso, che rinvia a nuove banche dati che sono in grado di gestire l’incredibile quantità di informazioni digitali che vengono costantemente e anche involontariamente prodotte in ogni istante della nostra vita. Per un approfondimento sul punto sia consentito rinviare a v. F. Mattassoglio, Big Data: impatto sui servizi finanziari e sulla tutela dei dati personali, in M.T. Paracampo (a cura di), Fintech. Introduzione ai profili giuridici di un mercato unico tecnologico dei servizi finanziari, cit., p. 74. e la dottrina lì richiamata; nonché F. Falce-G. Ghidini-G. Olivieri, Informazione e Big Data tra innovazione e concorrenza, Giuffrè, Milano, 2017; R. Lener, Fintech: diritto, tecnologia e finanza, Minerva Bancaria, Roma, 2018.
[34]A. Mackenzie, The production of Prediction: What Does Machine Learning Want?, in European Journal of Cultural Studies, 2015, vol. 18, p. 429 ss.
[35]Tra le diverse metodologie di analisi quella che sicuramente è destinata a produrre i maggiori effetti è la c.d. “Big Data Analytic” (BDA) definita come «high-volume, high-velocity and/or high-variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation» (Cf. http://
www.gartner.com/it-glossary/big-data/ (11 April 2016).
[36]Sul punto v. EC, Communication Artificial intelligence for Europe, 25 aprile 2018, in //ec.europa.eu/jrc/communities/community/humaint/news/communication-artificial-intelligence-euro
pe; D. Landau, Artificial Intelligence and machine learning: How Computers Learns, in IQ, 17 agosto 2016.
[37]Esso si riferisce a «set of methods that can automatically detect patterns in data, and then use the uncovered patterns to predict future data, or to perform other kinds of decision making under uncertainty», così K.P. Murphy, Machine Learning A Probabilistic Perspective Solutions, 2012, consultabile sul sito www.github.com.
[38]Cfr. G. D’Acquisto-M. Naldi, Big Data e Privacy by Design, Giappichelli, Torino, 2017, p. 15.
[39]M. Handzic-F. Tj-J. Yeo, How Neural Networks can Help Loan Officers to Make better Informed Application Decisions, 2003, consultabile sul sito www.researchgate.net. In particolare, vengono ricordati «logistic regression models, the naive Bayes classifier, k– nearest neighbors, decision trees and neural networks».
[40]A. Tutt, A FDA for Algorithms, cit., p. 85.
[41]K. Yeung, Algorithmic Regulation: A Critical Interrogation, cit.
[42]V. Mayer-Schonberger-K. Cukier, Big data, cit.
[43]J. Burrell, How the machine ‘thinks’: Understanding opacity in machine learning algorithms, in Big Data & Society, January-June 2016, pp. 1-12.
[44]J. Burrell, How machine think, cit. Come è stato messo in luce «con l’ascesa degli algoritmi ad apprendimento automatico e delle reti neurali artificiali, un numero sempre maggiore di algoritmi si evolve in maniera indipendente, migliorando se stesso e apprendendo dai propri errori. Gli algoritmi sono in grado di analizzare quantitativi astronomici di dati che nessun umano potrebbe mai affrontare anche nella migliore delle ipotesi, e imparano a riconoscere pattern e ad adottare strategie che sfuggono alla mente umana. All’inizio il germe algoritmico può essere sviluppato dagli umani, ma quando segue il proprio percorso, andando dove nessun uomo è mai andato prima – e dove nessun uomo potrà seguirlo», cfr. Y.N. Harari, Homo Deus: Breve storia del futuro, Bompiani, Milano, 2017, p. 630.
[45]T. Hastie-R. Tibshirani-J. Friedman, The elements of statistical learning: data mining, inference, and prediction, New York, 2009.
[46]Più precisamente su questo punto v., U. Fayyad, The Digital Physics of Data mining, 44 Comm. ACM, March 2001, p. 62.
[47]U. Fayyad, The Digital Physics of Data mining, cit., 62. I modelli rappresentano, infatti, il set di relazioni che vengono via via a formarsi e che saranno poi utilizzati per automatizzare il processo di selezione di un determinato soggetto o attività di interesse, stimando una serie di variabili non osservate ovvero predicendo future variabili. Sul tema v. Mayer-Schonberger-K. Cukier, Big data. A revolution that will trasform how we live, work and think, New York, 2013; D. Boyd-K. Crawford, Critical Questions for Big Data, in Information, Communication & Society (5) 4, 2012, p. 662 ss.; I. Kerr-J. Earle, Prediction, Preeption, Presuption. How Big Data Threatens Big Pictures Privacy, in 66 Stan Law Review, 2013, p. 67.
[48]C. McCue, Data mining and predictive analysis: Intelligence gathering and crime analysis, New York, 2007, p. 48, che dichiara come «If knowledge is power, then foreknowledge [via predictive analytics] can be seen as battlespace dominance or supremacy». Sul tema si veda anche L. Viola, Data mining. Sottrazione, cessione e utilizzo di dati personali e documenti riservati, in M. Fumagalli Meraviglia (a cura di), Diritto alla riservatezza e progresso tecnologico, Napoli 2015, pp. 189 ss.
[49]P. Domingos, A few Useful Things to know about Machine Learning, Comm. ACM, Oct. 2012, pp. 78-80.
[50] I big data consentirebbero, in altre parole, di comprendere gli individui riuscendo, grazie all’analisi e alla decodificazione di un’immensa quantità di informazioni (che senza la tecnologia resterebbe alla stregua di un rumore di fondo non comprensibile), a ridurre le differenze tra i singoli, fino ad ottenere il c.d. “n = all”, ossia di comprendere e predire i comportamenti di una pluralità di soggetti. Il tutto a una incredibile velocità, cfr. V. Mayer-Schonberger-K. Cukier, Big data. A revolution, cit.
[51] Spesso come si è già anticipato, nella complessità del loro sviluppo, vengono coinvolti più operatori, che alla fine del processo non sono in grado di comprenderne l’intero funzionamento.
[52]J. Burrell, How machine think, cit., giustifica questa espressione precisando che «if one is a recipient of the output (the classification decision), rarely does one have any concrete sense of how or why a particular classification has been arrived at from inputs». E le prove di quanto questo possa essere pericoloso si rinvengono richiamando gli incredibili – con l’uso della logica umana – errori che sono stati in passato commessi ad esempio da un algoritmo come quello di Google’s imagine recognition che aveva classificato fotografie di uomini di colore come Gorilla, Cfr. A. Tutt, A FDA for Algorithms, cit., p. 90.
[53]J. Burrell, How machine think, cit.
[54] Sul tema v. F. Di Porto, Big Data e scienze cognitive: ripensare la disclosure regulation nel settore finanziario, in M.T. Paracampo (a cura di), FinTech, cit., p. 104 ss.; nonché più approfondimentamente, Id., La regolazione degli obblighi informativi. Le sfide delle scienze cognitive e dei big data, Editoriale Scientifica, Napoli, 2017.
[55]J. Burrell, How machine think, cit., secondo cui «with greater computational sources, and many terabytes of data to mine (now often collected opportunistically from digital traces of users’s activities), the number of possibile features to include in a classifier rapidly grows way beyond what can be easily grasped by a reasoning human»; nonché sempre in argomento V. Eubanks, Digital Dead End: Fighting for Social Justice in the Information Age, cit.
[56]Sul tema v. M. Lenglet, Conflicting codes and codings: How algorithmic trading is reshaping financial regulation, in Theory, Culture & Society, 2011, p. 44; J. Arnoldi, Computer Algorithms, Market Manipulation and the Institutionalization of High Frequency Trading, in Theory, Culture & Society 2016, p. 29; F. Pasquale, The black box, cit., 2015.
[57] Ossia quelli che vengono utilizzati per valutare le quotazioni e i rischi di strumenti finanziari o per allocare in modo più razionale gli investimenti, etc.
[58] Sul punto v. F. Mattassoglio, Innovazione tecnologica e valutazione del merito creditizio. Verso un social credit system?, Milano 2018; F. Ferretti, Consumer access to capital in the age of Fintech and big data: The limits of EU law, in Maastricht Journal of European an comparative Law, 2018, p. 1 ss., nonché la dottrina in essi citata.
[59] Siffatta procedura diviene particolarmente incisiva grazie, per l’appunto, alla potenzialità dei big data, capaci di raccogliere e processare le informazioni prodotte nell’attività on-line e off-line degli individui. Come ormai sempre più spesso ci viene ricordato, l’uso delle carte di credito, degli smartphone, dei computer, nonché il crescente fenomeno dell’Internet of things consentono, a tutti coloro in possesso della tecnologia adatta (ad esempio i c.d. cookies) di seguire e mappare le tracce digitali lasciate dietro di sé dal consumatore, ricostruendo in modo assai dettagliato la sua identità digitale. Così facendo, i dati raccolti sui singoli esulano dalla sola sfera economico-finanziaria, giungendo a coprire, potenzialmente ogni aspetto della vita privata (cosa e dove si fanno acquisti, viaggi, preferenze per il tempo libero, etc.), su questo (v. F. Di Porto, Dalla convergenza digitale-energia l’evoluzione della specie: il consumatore «iperconnesso», in Merc. conc. Reg., 1/2016, p. 59 ss. V. M. Hildebrandt, Slaves to Big Data. Or Are we?, October 2013, at 7, disponibile al sito http://works.bepress.com/mireille_hildebrandt/52, pp. 2-3. E. Siegel, Predictive Analysis. The Power to Predict who will Click, Buy, Lie or Die, John Wiley & Sons, Hoboken, New Jersey, 2013, p. 75). Oltre a questo tipo di dati, che provengono generalmente dall’attività web del consumatore, l’evoluzione tecnologica ha consentito di aggiungere un ulteriore “canale” informativo, ossia i social media (in primis Facebook, Instagram e Twitter) (A. Jeffries, As Banks Start Nosing Around Facebook and Twitter, the Wrong Friends Might Just Sink Your Credit, BETABEAT.COM (Dec. 13, 2011), http://www.betabeat.com/2011/12/13/
as-banks-start-nosing-aroundfacebook-and-twitter-the-wrong-friends-might-just-sink-your-credit), in cui l’individuo può interagire e vivere la propria vita relazionale.
[60]L. Mohan-S. Elayidom M., A Novel Big Data Approach to Classify Bank Customer. Solution by Combinib PIG, R and Hadoop, in I.J. Information Technology and Computer Science, 2016, 9, p. 81 ss.; gli A., in particolare, propongono un metodo combinato su sistemi operativi quali Hadoop, PIG, R per una più efficiente classificazione dei clienti bancari.
[61]N. Cullerton, Behavioral Credit Scoring, in The George Town Law Journal, vol. 101, 2013, p. 808; C.R. Everett, Group Membership, Relationship Banking and Loan Default Risk: The Case of Online Social Lending, in Banking and Finance Review 7(2), 2015, disponibile sul sito http://ssrn.com/abstract=1114428.
[62]National Consumer Law Center (NCLC), Big Data. A Big Disappointment for Scoring Consumer Credit Risk, 2014, www.nclc.org.
[63] In proposito v. F. Mattassoglio, La profilazione dell’investitore nell’era dei big data. I rischi dell’estremizzazione della regola del “know your customer, in Riv. trim. dir dell’econom., suppl. 4/2016, p. 223 ss. Circa la capacità di analisi delle nuove tecnologie applicate ai robo-advisor, v. P. Giudici-G. Polinesi, «Scoring models for robo-advisory platforms: a network approach», Submitted Technical Report, 2018. In generale sul tema, R. Lener-P. Lucantoni, Regole di condotta nella negoziazione di strumenti finanziari complessi: disclousure in merito agli elementi strutturali o sterilizzazione, sul piano funzionale, del rischio come elemento tipologico e/o normativo?, in Banca Borsa Tit. Cred., 4, 2012, p. 369
[64] Con adverse selection si fa riferimento a un fenomeno economico di distorsione del mercato dovuto, per l’appunto, ad asimmetrie informative; per free riding, invece, nel linguaggio economico si intende il godimento di beni pubblici a fronte di nessun corrispettivo.
[65] Per un approfondimento v. P. Giudici-B. Hadji-Misheva, Network Scoring Models for P2P Lending, London, submitted paper, richiamato da P. Giudici, Fintech Risk Management: A Research Challenge for Artificial Intelligence in Finance, in Frontiers in Artificial Intelligence, November, 2018, vol. 1, p. 3 ss. In esso l’A. propone di ricostruire un simile modello tenendo in considerazione le differenze tra la natura del richiedente prestito ossia singolo consumatore o impresa medio piccola: «associating each borrower with a statistical unit, at each time point many variables can be observed for that unit; in the case of SME lending, balance sheet variables; in the case of consumer credit, transaction account variables».
[66] Nell’ambito della valutazione del merito creditizio, ad esempio, l’utilizzo della tecnologia dei Big Data potrebbe consentire non soltanto di rendere più efficace il processo decisionale, ma altresì di estendere l’accesso al credito anche a una serie di soggetti che sono attualmente esclusi, perché considerati un-banked o under-banked in virtù dei tradizionali sistemi di stima.
[67]ESAS, Final Report on automation in financial advice, cit., p. 4. Lo stesso Report ricorda tra i benefici che possono derivare dall’auso della tecnologia Big Data anche quelli legati alla prevenzione di fenomeni di frode e altre attività illecite, quali il crimine informatico. L’uso di algoritmi appropriati, infatti, può consentire di rilevare l’esistenza di comportamenti sospetti grazie al controllo delle operazioni di pagamento, nel prelevamento dei contanti ovvero nella negoziazione dei titoli, non solo per garantire una maggiore tutela per gli utilizzatori dei servizi di pagamento, ma anche per la prevenzione di reati quali il riciclaggio o il finanziamento del terrorismo.
[68]Europea Data Protection Supervision, Meeting the Challenges of Big Data. A call for transparency, user control, data protection by design and accountability, n. 7 del 19 novembre, 2015, in www.edps.europa.eu.
[69] In proposito v. ex multis F. Pizzetti, La protezione dei dati personali dalla direttiva al nuovo regolamento: una sfida per le Autorità di controllo e una difesa per la libertà dei moderni, in MediaLaws, 2018, fasc. 1, 1 ss.; B. Goodman-S. Flaxman, European Union regulation on algorithmic decision-making and a “right to explanation”, in AI Magazine, vol. 38, n. 3, 2017, consultabile alla pagina https://arxiv.org/abs/1606.08813; e ancora v. la bibliografia citata in F. Mattassoglio, Big data e impatto sui servizi finanziari, cit.
[70]J. Burrell, How the machine “thinks”: Understanding opacity in machine learning algoritms, cit.
[71] Per una critica di questi sistemi si veda anche Harari (21 lezioni per il XXI secolo, Roma, 2018) che mette in luce come «Già oggi banche, aziende e istituzioni usano algoritmi per analizzare i dati e prendere decisioni che ci riguardano. Quando si chiede un prestito a una banca, è verosimile che la domanda venga analizzata da un algoritmo piuttosto che da una persona in carne e ossa. … Quando la discriminazione è diretta contro gruppi, come le donne o i neri, questi gruppi possono organizzarsi e protestare contro la discriminazione collettiva. Tuttavia oggi un algoritmo potrebbe discriminare voi personalmente, senza che sappiate perché. Magari l’algo­ritmo ha trovato qualcosa che non gli piace nel vostro DNA o sulla vostra compagnia di Facebook. L’algoritmo vi discrimina non perché siete donna o un afroamericano, ma perché siete voi. C’è qualcosa di specifico che vi riguarda che all’algoritmo non piace. Non sapete che cosa sia, e anche se lo sapeste non potreste organizzarvi con altri per protestare, perché non ci sono altri che subiscono lo stesso identico pregiudizio. Siete solo voi».
[72] Per un’accesa critica in questo senso, v. D.K. Citron, Technological Due Process, in Wash. Law Review, 2008, p. 1249 ss.
[73] Sui possibili effetti discriminatori, v. anche Federal Trade Commission, Big Data: a tool for inclusion or exclusion, FTC, January 2016, consultabile sul sito http://www.ftc.gov; nonché S. Barocas-A.D. Selbst, Big Data’s Disparate Impact, 104, California Law Review 671 (2016).
[74] Sulla disciplina americana ed europea, v. ancora F. Mattassoglio, Innovazione tecnologica e valutazione del merito creditizio, cit., p. 72 ss.
[75]Cfr. S. Wachter-B. MittelstadtIn, A right to reasonable inferences: re-thinking data protection law in the age of Big Data and AI, in Col. Bus. L. Rev., 2019, p. 1 ss.
[76]National Consumer Law Center (NCLC), Big Data. A Big Disappointment for Scoring Consumer Credit Risk, 2014, www.nclc.org.
[77]FSUG, Paper on Assessment of current and future impact on Big Data on Financial Services, June 2016, https://ec.europa.eu/info/file/46888/download_en.
[78]M. Maggiolino, Big data e prezzi personalizzati, in Concorrenza e mercato, 2016, p. 95 ss.
[79] Secondo l’art. 1, comma 6-septies, TUF, «Per “tecnica di negoziazione algoritmica ad alta frequenza” si intende qualsiasi tecnica di negoziazione algoritmica caratterizzata da: a) infrastrutture volte a ridurre al minimo le latenze di rete e di altro genere, compresa almeno una delle strutture per l’inserimento algoritmico dell’ordine: co-ubicazione, hosting di prossimità o accesso elettronico diretto a velocità elevata; b) determinazione da parte del sistema dell’inizializ­zazione, generazione, trasmissione o esecuzione dell’ordine senza intervento umano per il singolo ordine o negoziazione, e c) elevato traffico infra-giornaliero di messaggi consistenti in ordini, quotazioni o cancellazioni».
[80] A. Sciarrone Alibrandi, Il tempo e il denaro. Riflessioni di un giurista, in AA.VV., La rilevanza del tempo nel diritto bancario e finanziario, Giappichelli, Torino, 2016, p. 8; A. Puorro, High Frequency Trading: Una Panoramica, Bank of Italy Occasional Paper, n. 198, dicembre 2013, consultabile alla pagina www.papers.ssn.com; AA.VV., Il trading ad alta frequenza. Caratteristiche, effetti, questioni di policy, Consob Discussion Papers 5, dicembre 2012; S. Alvaro, M. Ventoruzzo, «High-Frequency Trading»: note per una discussione, in Banca Impresa Società, 3/2016, pp. 417-444.
[81]S. Alvaro-M. Ventoruzzo, High-Frequency Trading, cit., p. 421. Secondo le ricostruzioni, la vicenda fu causata da un fondo comune di investimento che cominciò a vendere un grande numero di contratti future E-mini S&P 500, tramite un algoritmo di esecuzione, che era stato impostato per vendere a un tasso collegato all’indice di liquidità del mercato minuto per minuto. I contratti furono rapidamente acquistati e rivenduti da una serie di altri trader algoritmici che, a loro volta, erano stati programmati per vendere rapidamente le posizioni. Il processo si interruppe solo quando le contrattazioni furono bloccate da un interruttore di blocco automatico, ma nel frattempo erano avvenute migliaia di transizioni a prezzi assurdi tra 1 centesimo e 100.000 dollari, che furono in seguito annullate dai rappresentati della borsa e delle autorità di vigilanza.
[82] Il report congiunto della CFTC e della SEC sul c.d. flash crash può essere consultato al seguente indirizzo https://www.sec.gov/news/studies/2010/marketevents-report.pdf.
[83] Anche il considerando 20 del regolamento 2017/575, del resto, precisa che “Ai fini della chiarezza, della certezza giuridica e di un’applicazione uniforme, è opportuno prevedere disposizioni supplementari in relazione alle definizioni riguardanti la negoziazione algoritmica, le tecniche di negoziazione algoritmica ad alta frequenza e l’accesso elettronico diretto. Nelle negoziazioni automatizzate vengono adoperate varie modalità tecniche. È fondamentale chiarire come tali modalità debbano essere categorizzate in relazione alle definizioni di negoziazione algoritmica e accesso elettronico diretto.».
[84]In particolare, l’art. 17 della direttiva impone alle imprese di investimento che se ne avvalgono una serie di obblighi di compliance, che si traducono in altrettanti profili di responsabilità che possono essere ricondotti al developer trader, al suo supervisore fino ai settori di compliance e management. Secondo il disposto dell’art. 48 le trading venues sono tenute a predisporre testing platforms contenti i dati storici delle performace per assicurare la “resistance del trading e degli ordini dati dagli algoritmi anche in condizioni di stress del mercato; per un commento v. Cfr. S. Mezzacapo, La regolazione algoritmica, in V. Troiano-M. Motroni (a cura di), La Mifid II. Rapporti con la clientela-regole di governance-mercati, Cedam, Padova, 2016, p. 341 ss.; T. Cuk-A. Van Waeyenberge, European Legal Framework for Algorithmic and High Frequency Trading (Mifid 2 and MAR). A global Approach to Managing the Risks of the Modern Trading Paradigm, in European Journal of Risk Regulation, 9, 2018, p. 151. In tema si vedano anche le linee guida del­l’ESMA del 2011 Sistemi e controlli in un ambiente di negoziazione automatizzato per piattaforme di negoziazione, imprese di investimento e autorità competenti (ESMA/2012/122). In dottrina v. ancora N. Linciano-I. Tarola, Il trading ad alta frequenza. Effetti e questioni di policy, in Bancaria, 10, 2013, pp. 20 ss. A livello internazionale, v. invece IOSCO, Regulatory issues raised by the impact of technological changes on market integrity and efficiency, 2011, in https://www.iosco.org/library/
pubdocs/pdf/IOSCOPD361.pdf; Id., Consultation Report «Technological Challanges to Effective Market Surveillance Issues and Regulatory Tools, 2012, sempre consultabile sul sito istituzionale; per un commento v. H.A. Bell-H. Searles, An Analysis of Global HFT Regulation, George Mason University, Working Paper n. 14-11, aprile 2014.
[85] Cfr. Regolamento Consob n. 20249 del 28 dicembre 2017.
[86] Per un attento approfondimento, v. AA.VV., La digitalizzazione della consulenza in materia di investimenti finanziari, Quaderno Consob, 3 gennaio 2019, consultabile sul sito istituzionale dell’autorità; M.T. Paracampo, La consulenza finanziaria automatizzata, in id. (a cura di), Fintech. Introduzione ai profili giuridici, cit., p. 127; Id., Robo Advisor, consulenza e profili regolamentari. Quale soluzione per un fenomeno in fieri?, in Riv. trim. dir. econ., n. 4/2016, supplemento, 256; nonché F. Sartori, Nel regolare i robot advisor è sbagliato dimenticare l’algoritmo, in www.fchub.it, del 22 settembre 2018.
[87]Iosco, Report on Social media and automation of advice tools Survey, FR04/2014; Update to the Report on IOSCO Automated Advice Tools Survey. Final Report, Fr15/2016 entrambi in www.ioso.org.
[88]ESAS, 2015 Work Programme of the Joint Committee of the European Supervisory Authorities (JC 2014 074), del 30 settembre 2014; Joint Committe Discussion Paper on automation in financial advice, del 4 dicembre 2015, cui ha fatto seguito il Final Report on automation in financial advice, del 16 dicembre 2016, tutti reperibili sui siti istituzionali delle autorità.
[89] Nel primo caso, la procedura automatizzata comprende tutte le fasi (dalla profilatura del cliente alla costruzione del portafoglio); nei modelli ibridi vi è una combinazione variabile tra componente umana e algoritmica, mentre nell’ipotesi del c.d. robo4advice la tecnologia è posta al servizio del consulente persona fisica per la costruzione del portafoglio.
[90]ESAS, Final Report on automation in financial advice, cit.
[91]Final Report. Guidelines on certain aspects of the MIFID II suitability requirements, ESMA 35-43-869/28), maggio 2018, consultabile sul sito dell’autorità. Per un primo commento, v. M.T. Paracampo, L’adeguatezza della consulenza finanziaria automatizzata nelle linee guida del­l’ESMA tra algo-governance, cit.
[92] ESMA, Orientamenti su alcuni requisiti di adeguatezza della MIFID II, p. 4.
[93] Cfr. ESMA, Orientamenti, cit., p. 4.
[94] Cfr. Punto 20, ESMA, Orientamenti, cit., p. 7.
[95] In particolare, nella nuova versione «sono state espunte talune informazioni a monte, quali, in primis, quelle relative all’utilizzo di un algoritmo per le molteplici funzionalità del robo advice, alle stesse modalità di funzionamento dell’algoritmo medesimo, al servizio dello stesso in concreto prestato, nonché ai modelli di business adottati dalle imprese ed ai rischi connessi», così M.T. Paracampo, L’adeguatezza della consulenza finanziaria automatizzata, cit., 9.
[96] Cfr. Punto 82, ESMA, Orientamenti, cit., pp. 24-25.
[97] Cfr. Punto 100, ESMA, Orientamenti, cit., p. 29
[98] Cfr. Punto 104, ESMA, Orientamenti, cit., p. 31.
[99] Cfr. M.T. Paracampo, op. cit.
[100]In tema, v. F. Mattassoglio, Innovazione tecnologica e valutazione del merito creditizio, cit.; F. Ferretti, Consumer access to capital in the age of Fintech and big data, cit.; Id., The “Credit Scoring pandemic” and the European Vaccine: Making Sense of Eu Data Protection Legislation, in Journal of Information, Law and Technology, 2009, p. 3 ss.; nella dottrina economica v. H.A. Abdou-J. Pointon, Credit Scoring, statistical techniques and evaluation criteria: A review of the literature. Intelligent System, in Accounting, Finance and Management, 2011, 18, pp. 59-88, https://doi.org/10.1002/isaf.325.
[101] Disposizioni specifiche, inoltre, sono previste con riferimento alle competenze tecniche che devono avere sia i membri del board, sia gli azionisti di maggioranza; al sistema di gestione dei rischi IT; all’obbligo di predisporre un programma delle operazioni; nonché disposizioni particolari per il capitale, la liquidità e l’insolvenza.
[102] BCE, Guide to assessments of Fintech institution licence applications, marzo 2018, consultabili alla pagina www.bankingsupervision.europa.eu. In dottrina sul punto v. A. Brozzetti, La nuova tipologia di banca Fintech nelle “guide” della Bce in tema di rilascio dell’autorizzazione, in corso di pubblicazione.
[103] BCE, Guide, cit., p. 9.
[104] Qualora, poi, la Fintech bank intenda operare in diversi Paesi – prassi comune per questo tipo di soggetti – è necessario adottare uno specifico modello di credit scoring che tenga conto delle differenze nazionali (relative all’accessibilità dei dati, alla tassazione, etc.).
[105] In questo secondo caso, invece, ossia qualora l’attività di valutazione sia esternalizzata, si pone un diverso tipo di problema, prima di tutto relativo alla possibilità per la stessa banca di controllare l’attività del suo provider. Ecco perché in questo caso, alla banca è richiesto solo di verificare alcuni dati al fine di controllare la correttezza del punteggio attribuito al singolo. Ciò non toglie che i provider stessi, e in primo luogo le CRA che procedono alla valutazione del merito creditizio, dovranno essere a loro volta assoggettate a maggiori controlli circa la fattibilità dei loro modelli di scoring.
[106]BCE, Guide to assessment, cit., p. 10.
[107]OICV-IOSCO, Update to the Report on the IOSCO Automated Advice Tools Survey, Final Report, cit., riferisce che sia l’autorità di regolazione olandese, sia quella francese «recognize that supervisory techniches must continue to develop over time as the automated advisors’ business models and alghoritms change to accomodate more diverse products and broader subsets of potential clients».
[108]OICV-IOSCO, Update to the Report on the IOSCO Automated Advice Tools Survey, Final Report, cit.
[109] AA.VV., La digitalizzazione della consulenza in materia di investimenti finanziari, cit., p. 59.
[110] Approccio che modula la disciplina a seconda del soggetto interessato.
[111] Approccio più orientato a regolare le attività indipendentemente dalla natura dell’inter­me­diario che la eroga, sul tema v. più approfonditamente E. Macchiavello, FinTech e regolazione: attuali zone grigie del diritto dell’economia e la necessità di un ripensamento generale di sistema, intervento al 4° Convegno ADDE, del 29-30 novembre 2018.
[112] M.T. Paracampo, op. cit.
[113] Come del resto paiono suggerire i molti punti di contatto tra le linee guida dell’ESMA e della BCE.
[114] M. Lodge-A. Mennicken, The importance of regulation of and by algorithm, in L. Andrews (a cura di), Algorithmics regulation, cit., p. 2 ss. gli autori, in particolare, sottolineano come la regolazione algoritmica non sia comparabile alle altre, che poggiano di solito on “standard setting” (directors), behaviour-modification (“effectors”) and information gathering (detectors).
[115]K. Yeung, Algorithmic Regulation: A Critical Interrogation, cit.
[116]D. Demortain-B. Benbouzid, Evalueting predictive algorithms, in Algorithmic regulation, cit., p. 13 ss.
[117] A. Spina, Alla ricerca di un modello di regolazione per l’economia dei dati. Commento al Regolamento (UE) 2016/679, in Rivista della regolazione e dei mercati, 2016, fasc. 1, p. 145.
[118] R. Kitchin, Thinking critical about and researching algorithms, cit., p. 14 ss.; L. Andrews, Algorithms, governance and regulation: beyond “the necessary hashtags”, in LSE, 2017, https://
www.kcl.ac.uk/law/research/centres/telos/assets/DP85-Algorithmic-Regulation-Sep-2017.pdf; an­che H. Laswell nella sua Call for an interdisciplinary field of “policy analysis”, richiama e­spres­samente la necessità di una popolazione “with knowledge of and in policy-making process”; B. Wagner, Algorithmic regulation and the global default: Shifting norms in Internet technology, in https://www.ntnu.no/ojs/index.php/etikk_i_praksis/article/view/1961/1969, p. 5-13, che richiama lo scandalo del 2015 della Volkswagen, quando si è compreso come il regolatore non avesse alcun accesso al software utilizzato per il calcolo delle emissioni.
[119]A. Vedder-L. Naudts, Accountability for the Use of Algorithms in a Big Data Environment, in https://core.ac.uk/download/pdf/80806967.pdf .
[120] Salva, naturalmente, l’adozione di soluzioni “estreme” che potrebbero consistere nell’im­porre la massima trasparenza sui dati e sui programmi utilizzati dagli operatori attraverso soluzioni di open source, ma implicano la totale esclusione del diritto proprietario sui processi oltre a privare lo sviluppatore di ogni interesse a eventuali e futuri miglioramenti del sistema; sul tema v. C. Sandvig-K. Hamilton-K. Karahalios et al., Auditing algorithms: Research methods for detecting discrimination on internet platforms, in Annual Meeting of the International Communication Association, Seattle, WA, 2014, pp. 1-23.
[121]P.B. de Laat, Algorithmic Decision-Making Based on Machine Learning from Big Data: Can Transparency Restore Accountability?, in https://link.springer.com/article/10.1007/s133347-017-0293-z.
[122] BCE, Guide, cit., p. 9.
[123] Come dimostra l’articolata proposta che è stata avanzata da un gruppo di giuristi del Georgetown University Law Center, con la collaborazione di data scientists del Massachusetts Institute of Technology, che si sono spinti fino a proporre un vero e proprio testo di regolazione, il c.d. Fairness and Transparency in Credit Scoring Act (FaTCSA), che potrebbe essere adottato anche a livello di singoli stati membri. L’intera proposta è allegata al termine del citato articolo di M. Hurley-J. Adebajo, Credit Scoring e Big Data, cit.
[124] A. Tutt, An FDA for Algorithms, cit., p. 84 ss., secondo l’A. l’estremo tecnicismo della materia può condurre a un’analogia con il campo medico, in questa prospettiva Tutt propone di istituire un’agenzia federale incaricata di valutare gli effetti e di procedere all’autorizzazione, preliminare nel caso di algoritmi particolarmente complessi e pericolosi. Questa Agenzia dovrebbe altresì diventare un esperto regolatore centralizzato chiamato a sviluppare linee guida, standard ed expertice in collaborazione con l’industria per trovare un punto di equilibrio tra innovazione e sicurezza. Solo un soggetto di questo tipo potrebbe, infatti, «coordinates and develops classifications, design standards and best practices», ivi inclusi gli standards di responsabilità (p. 107).
[125]J. Burrell, How the machine ‘thinks’, cit.
[126]L. Andrews, Algorithms, governance and regulation, cit.
[127]J. Burrell, How machine think, cit.
[128] Si noti che sia D.K. Citron sia F. Pasquale, op. cit., p. 25 propongono questa soluzione contro l’eccesiva oscurità dei sistemi di credit scoring basati su algoritmi complessi.
[129]Secondo N. Diakopoulos, Accountability in Algorithmic Decision Making, in Communication of the ACM, febbraio 2016, vol. 59, p. 56, «what we generally lack as a public is a clarity about how algorithms exercise their power over us».
[130] Il controllo e la verifica richiede particolari competenze tecniche. Per questo motivo sarebbe auspicabile che ciascuna autorità, già preposta ai diversi settori, a livello europeo si pensi all’EBA, ESMA ed EIOPA, metta a punto specifiche sezioni dedicate al controllo sugli algoritmi che si applicano al settore. Una simile via è già stata adottata, nell’ambito dell’esperienza inglese dell’High frequency trading, ove si è stabilito, per l’appunto, di verificare la performance del­l’algoritmo mettendola a confronto con una “performance standard”, basata sulla misurazione del risk of a security (price volatility). L’algoritmo, in altre parole, viene testato sulla base della sua volatilità, che «must be predicted with 95% confidence based on historical data, and that volatility must be reported to investors», FCA, Content of proposed MAR 5 & MAR 5A, Systems and controls for algorithmic trading on MTFs and OTFs, http://www.fca.org.uk/mifid-ii/8-algorithmic-and-high-frequency-trading-hft-requirements, 2014; S.R. McNamara, The Law and Ethics of High-Frequency Trading, in Minnesota Journal of Law, Science & Technology, 2/2016, p. 71 ss.; G. Mulgan, A machine intelligence commission for the UK: how to grow informed public trust and maximise the positive impact of smart machines, Nesta, February 2016. A. Tutt, An FDA for Algorithms, cit., p. 108 ss. In ambito americano, invece, si veda la proposta portata avanti dalla House of Commons Science and Technology Committee, dal titolo “Algorithms in decision-making”, che però è stato sospesa, Algorithms in decision-making inquiry, http://www.
parliament.uk/business/committes-a-z/commons-select/scinece-and-technology-committee/inquiries/
parliament-2015/inquiry9/.
[131]B. Wagner, Algorithmic regulation, cit., p. 6.
[132] Questo è quanto il giudice ha imposto di fare nei confronti di Google, rimuovendo una serie di risultati dalle ricerche del suo motore, nella famosa Court Decision Max Mosley Case. Nello stesso modo funzionerebbe anche il c.d. COPPA regulatory framework (Children’s Online Privacy Protection Act), ossia il sistema che protegge la privacy dei minori, cfr. Coppa + 1, Issues and Impacts for Children’s Privacy, in www.iapp.org.
[133]Con riferimento a questo profilo, può essere opportuno richiamare le disposizioni contenute nella dir. 2005/29/EC, Unfair Commercial Practices Directive, c. UCPD Concerning the unfair business-to-consumer commercial practices in the internal market. In particolare, la direttiva proibisce pratiche commerciali finalizzate a spingere i consumatori a sottoscrivere nuovi contratti per servizi che non hanno richiesto, così come l’automatico rinnovo contrattuale, che viene talora applicato non dando agli utenti un sufficiente lasso di tempo per esprimere la loro volontà. L’UCPD, inoltre, prevede espressamente che i singoli non siano interpellati tramite inutili chiamate telefoniche o e-mail e che siano loro fornite tutte le informazioni necessarie per prendere una decisione “informata” in merito alla sottoscrizione di uno specifico contratto. Questo impone, ad esempio, che all’utente siano fornite idonee garanzie sulle modalità con cui i prezzi sono fissati, al fine di evitare fenomeni quali: la discriminazione dei prezzi, i prezzi “dinamici” o il pricing personalizzato. Su questo tema v., Commission Staff Working Document “Guidance on the Implementation/application of Directive 2005/29/EC on unfair commercial practices, pubblicato il 25 maggio 2016.
[134]Hurley, op. cit., p. 200.
[135]In questo senso, v. N. Cullerton, Behevioral credit storing, cit.
[136]Cfr. N.G. Packin-Y. Lev-Aretz, On Social Credit and the Right, cit., p. 339.
[137] Cfr. il già citato Equal Credit Opportunity Act (ECOA).
[138] Peraltro, i medesimi autori evidenziano che anche nel caso in cui il singolo soggetto desse consapevolmente il proprio consenso alla condivisione con l’intermediario dei propri contatti sui social media – magari a fronte di una valutazione di convenienza con quanto offerto a fini di incentivo –, nessuna tutela sarebbe comunque concessa a tutti i suoi “amici” e “contatti” che rischierebbero, senza averne alcuna notizia, di subire una serie di conseguenze potenzialmente negative, cfr. N.G. Packin-Y. Lev-Aretz, On Social Credit and the Right, cit., p. 383.
[139] Ci riferiamo ai progetti “Explainable AI” e “WhiteMech” che si propongono di creare approcci sicuri e comprensibili, proprio perché i sistemi attualmente presenti non sono in grado di «motivare i loro suggerimenti e questo non aiuta l’operatore a ottimizzare il processo…. Se un sistema mi impedisce di aprire un mutuo in banca, ho il diritto di conoscere il motivo della mia scarsa affidabilità». In quest’ottica i ricercatori stanno lavorando per implementare un «avanzamento tecnologico che ponesse al centro l’essere umano (la cosiddetta “Human AI”), insieme con i suoi diritti e i suoi valori: una tecnologia che garantisse il rispetto del principio della privacy e assicurasse l’uso di algoritmi trasparenti e non discriminatori», così precisa F. Giannotti, nel corso dell’intervista pubblicata sul quotidiano La Stampa il 3 aprile 2019.