New York – Rachel S vive in un quartiere pedonale di Brooklyn, New York. La maggior parte dei giorni riesce a vivere comodamente senza macchina. Lavora spesso da remoto ma ogni tanto ha bisogno di andare in ufficio. È qui che la sua situazione diventa un po’ impegnativa. Il suo spazio di lavoro non è facilmente raggiungibile con i mezzi pubblici.
Poiché non ha bisogno di guidare spesso, per soddisfare le sue necessità occasionali ha utilizzato la piattaforma di car sharing Zipcar. Il processo di richiesta è piuttosto rapido e consente ai consumatori di mettersi in viaggio utilizzando la propria flotta di auto in tempi relativamente brevi.
Sfortunatamente, per Rachel non è stato così. Non appena ha premuto il pulsante di invio è stata ritenuta non idonea dal software di intelligenza artificiale utilizzato dall’azienda. Perplessa dal risultato, Rachel si è messa in contatto con il team del servizio clienti dell’azienda.
Dopotutto, non ha demeriti che suggeriscano che sia un’autista irresponsabile. Non ha punti sulla patente. L’unico problema è stata una multa ricevuta quando aveva diciassette anni e quella multa le è stata pagata anni fa.
Anche se da allora la multa è stata corretta, ora, sulla trentina, sta ancora affrontando le conseguenze.
Ha parlato inutilmente con il team del servizio clienti di Zipcar. Nonostante un record di guida altrimenti pulito, è stata respinta. Afferma che la società ha dichiarato di non avere alcuna possibilità di ricorso e che la decisione non poteva essere sovrascritta da un essere umano.
“Non c’era alcun percorso o processo per fare appello a un essere umano e, sebbene sia ragionevole, l’unico modo per riprovare sarebbe presentare nuovamente domanda” per la quale è prevista una quota di iscrizione non rimborsabile, ha detto Rachel ad Oltre La Linea ricordando la sua conversazione con l’azienda.
Zipcar non ha risposto alla richiesta di commento di Oltre La Linea.
Rachel è uno dei tanti consumatori a cui sono stati rifiutati prestiti, abbonamenti e persino opportunità di lavoro da parte dei sistemi di intelligenza artificiale senza alcuna politica di ricorso o di ricorso poiché le aziende continuano a fare affidamento sull’intelligenza artificiale per prendere decisioni chiave che influiscono sulla vita di tutti i giorni.
Ciò include D che ha recentemente perso il lavoro.
Come condizione per l’intervista D ha richiesto che utilizzassimo solo la loro iniziale per rispetto della loro privacy. D cercò religiosamente una nuova opportunità senza alcun risultato.
Dopo mesi di ricerche, D ha finalmente trovato un lavoro, ma c’era un grosso problema: i tempi.
Passarono ancora diverse settimane prima che D iniziasse il nuovo lavoro e passarono diverse settimane dopo che D ricevette il primo stipendio.
Per ottenere ulteriore aiuto, D ha richiesto un prestito personale su più piattaforme nel tentativo di eludere i prestiti con anticipo sullo stipendio predatori, solo per tirare avanti nel frattempo.
D è stata respinta per tutti i prestiti richiesti. Sebbene D non abbia confermato quali aziende specifiche, il settore ha molteplici opzioni tra cui Upstart, Upgrade, SoFi, Best Egg e Happy Money, tra gli altri.
D dice che quando hanno chiamato le aziende dopo aver presentato una domanda online, nessuno ha potuto aiutarli né ci sono stati ricorsi.
Quando D aveva poco più di vent’anni avevano una carta di credito sulla quale non riuscivano a pagare le bollette. Quella era la loro unica carta di credito. Affittano anche un appartamento e si affidano ai trasporti pubblici.
Secondo gli istituti di credito online guidati dall’intelligenza artificiale, la loro mancanza di storia creditizia e di garanzie reali li rende non idonei a ricevere un prestito nonostante abbiano saldato il loro debito insoluto sei anni fa.
D non ha confermato quali società specifiche hanno cercato di ottenere un prestito. Oltre La Linea ha contattato ciascuna di queste aziende per commentare i loro processi – solo due hanno risposto – Upgrade e Upstart – hanno risposto al momento della pubblicazione.
“Ci sono casi in cui siamo in grado di modificare la decisione sul prestito sulla base di informazioni aggiuntive, ad esempio la prova di altre fonti di reddito, che non erano state fornite nella domanda originale, ma quando si tratta di un ‘giudizio umano, “C’è molto spazio per pregiudizi personali che è qualcosa che i regolatori e i leader del settore hanno lavorato duramente per rimuovere”, ha detto un portavoce della società Upgrade in una e-mail ad Oltre La Linea. “La tecnologia ha portato obiettività ed equità nel processo di prestito, con le decisioni ora prese in base al vero merito del richiedente.”
I pregiudizi storici sono amplificati
Ma non è così semplice. I pregiudizi storici esistenti sono spesso amplificati dalla tecnologia moderna. Secondo un’indagine del 2021 condotta dal punto vendita The Markup, i neri americani hanno l’80% di probabilità in più di essere rifiutati automaticamente dalle agenzie di concessione di prestiti rispetto alle loro controparti bianche.
“L’intelligenza artificiale è solo un modello addestrato su dati storici”, ha affermato Naeem Siddiqi, consulente senior presso SAS, una società globale di intelligenza artificiale e dati, dove fornisce consulenza alle banche sul rischio di credito.
Ciò è alimentato dalla lunga storia di pratiche discriminatorie degli Stati Uniti nel settore bancario nei confronti delle comunità di colore.
“Se prendi dati distorti, tutto ciò che l’intelligenza artificiale o qualsiasi modello farà sarà essenzialmente ripetere ciò che gli hai fornito”, ha detto Siddiqui.
“Il sistema è progettato per prendere quante più decisioni possibili con meno pregiudizi e meno giudizio umano possibile per renderla una decisione obiettiva. Questa è l’ironia della situazione… ovviamente, ce ne sono alcuni che passano inosservati”, ha aggiunto Siddiqi.
Non è solo sulla base della razza. Aziende come Apple e Goldman Sachs sono state addirittura accusate di concedere sistematicamente limiti di credito più bassi alle donne rispetto agli uomini.
Queste preoccupazioni sono anche generazionali. Siddiqi afferma che tali smentite limitano in modo schiacciante anche la mobilità sociale tra le generazioni più giovani, come i millennial più giovani (quelli nati tra il 1981 e il 1996) e la Gen Z (quelli nati tra il 1997 e il 2012), in tutti i gruppi demografici.
Questo perché l’appellativo standard di forte salute finanziaria – comprese carte di credito, case e automobili – quando si valuta la responsabilità finanziaria di qualcuno sta diventando sempre meno rilevante. Solo circa la metà della Gen Z possiede carte di credito. Questo è un declino rispetto a tutte le generazioni precedenti.
I Gen Z hanno anche meno probabilità di avere garanzie collaterali come un’auto su cui scommettere quando richiedono un prestito. Secondo un recente studio di McKinsey, questa fascia di età ha meno probabilità di scegliere di prendere la patente rispetto alle generazioni precedenti. Solo un quarto dei sedicenni e il 45% dei diciassettenni possiedono la patente di guida. Sono in calo rispettivamente del 18% e del 17%.
Il Consumer Financial Protection Bureau ha rafforzato le sue tutele per i consumatori. A settembre, l’agenzia ha annunciato che le agenzie di prestito dovranno ora spiegare le motivazioni alla base del rifiuto di un prestito.
“I creditori spesso alimentano questi complessi algoritmi con grandi set di dati, a volte includendo dati che possono essere raccolti dalla sorveglianza dei consumatori. Di conseguenza, a un consumatore potrebbe essere negato il credito per ragioni che potrebbe non considerare particolarmente rilevanti per le sue finanze”, ha affermato l’agenzia in un comunicato.
Tuttavia, l’agenzia non affronta la mancanza di un processo di appello umano poiché D afferma di essersi occupato personalmente.
D ha affermato che hanno dovuto posticipare il pagamento di alcune bollette che danneggeranno la loro salute finanziaria a lungo termine e potrebbero influire sulla loro capacità di ottenere un prestito con tassi di interesse ragionevoli, se non del tutto, in futuro.
“Esclusi dalle opportunità”
Siddiqi suggerisce che gli istituti di credito dovrebbero iniziare a considerare dati alternativi quando prendono una decisione sui prestiti che possono includere il pagamento dell’affitto e delle utenze e persino il comportamento sui social media, nonché i modelli di spesa.
Sui social media i check-in stranieri sono un indicatore chiave.
“Se hai più soldi, tendi a viaggiare di più o se segui pagine come Bloomberg, Financial Times e Reuters è più probabile che tu sia finanziariamente responsabile”, aggiunge Siddiqi.
Il problema del rifiuto automatico non riguarda solo le richieste di prestito e di adesione, ma riguarda anche le opportunità di lavoro. Sulle piattaforme di social media come Reddit gli utenti pubblicano e-mail di rifiuto che ricevono immediatamente dopo aver inviato una domanda.
“Ho soddisfatto tutti i requisiti e ho selezionato tutte le parole chiave e nel giro di un minuto dall’invio della mia domanda, ho ricevuto sia la conferma della domanda che la lettera di rifiuto”, ha detto ad Oltre La Linea Matthew Mullen, il poster originale.
L’editor video con sede nel Connecticut afferma che questa è stata la prima volta per lui. Esperti come Lakia Elam, capo della società di consulenza per le risorse umane Magnificent Differences Consulting, affermano che tra i sistemi di tracciamento dei candidati e altri strumenti basati sull’intelligenza artificiale, questo sta diventando sempre più un tema più ampio e sempre più problematico.
I sistemi di tracciamento dei candidati spesso trascurano le competenze trasferibili che potrebbero non essere sempre allineate sulla carta con le competenze del candidato.
“Spesso i candidati che hanno un percorso di carriera non lineare, molti dei quali provengono da background diversi, vengono esclusi dalle opportunità”, ha detto Elam ad Oltre La Linea.
“Continuo a dire alle organizzazioni che dobbiamo mantenere il tocco umano in questo processo”, ha detto Elam.
Ma sempre più organizzazioni si affidano maggiormente a programmi come ATS e ChatGPT. Elam sostiene che questo esclude molti candidati meritevoli di lavoro, inclusa lei stessa.
“Se dovessi passare attraverso un sistema di intelligenza artificiale oggi, garantisco che verrei rifiutato”, ha detto Elam.
Ha un GED, l’equivalente del diploma di scuola superiore, invece di una laurea quadriennale.
“Vedono GED sul mio curriculum e dicono che dobbiamo starne lontani”, ha aggiunto Elam.
In parte, questo è il motivo per cui gli americani non vogliono che l’intelligenza artificiale sia coinvolta nel processo di assunzione. Secondo un rapporto dell’aprile 2023 di Pew Research, il 41% degli americani ritiene che l’intelligenza artificiale non dovrebbe essere utilizzata per esaminare le domande di lavoro.
“Fa parte di una conversazione più ampia sulla perdita di percorsi verso un giusto processo”, ha detto Rachel.
