ISTC-CNR, l’Istituto di Scienze e Tecnologie della Cognizione del CNR, ed Affidaty S.p.A hanno siglato, in data 5 Giugno 2019, un accordo di fondamentale importanza per lo scopo scientifico-tecnologico avveniristico: realizzare una serie di neuroni artificiali in grado di essere addestrati con testi specifici per un determinato dominio di competenza. Ciò permetterà ad un umano di porre una o più domande “in scope” ad un numero elevatissimo di individui, i quali potranno formulare una risposta aperta senza ricorrere ai classici sistemi a scelta multipla. Il sistema sinergico dei neuroni sarà in grado quindi di scartare le risposte non affini alla documentazione utilizzata per il suo addestramento, oltre a classificare tutte le rispose idonee con un punteggio che va da 0 a 1 in base alla pertinenza del dominio di conoscenza elaborato. Per questo progetto sono stati inoltre coinvolti vari attori fra cui l’associazione culturale science2mind e BUP.
L’importanza della risposta aperta.
I classici test a risposta multipla costringono il candidato a muoversi in uno spazio circoscritto, il dominio delle risposte possibili, ma esistono molte domande la cui risposta non è nota a priori, ma risiede nella preparazione e nella competenza dell’individuo. In questo caso le tecniche classiche sono “paralizzate” da una meccanica inefficace.
Es:
Si provi a formulare una domanda tipo “Che soluzione proporresti per ridurre le emissioni di CO2 prodotte dagli scenari industriali globali?” e si provi a costruire un sistema di risposte multiple al fine di raccogliere dal maggior numero possibile di candidati una proposta compatibile con la realtà, avrebbe senso formulare una risposta multipla?
Il progetto, dal nome AISilomar, ha dunque lo scopo di introdurre un nuovo metodo di valutazione e di aggregazione di informazioni in casi d’uso in cui, per verificare milioni di risposte aperte, serverebbe l’impiego di un numero elevato di verificatori umani.
Ma c’è di più.
Il meccanismo propone un sistema di valutazione oggettivo più efficace di quello umano, poiché sappiamo quanto l’uomo sia influenzabile da moltissimi parametri.
Ecco alcuni esempi:
Se chiedessimo ad un valutatore esperto di formulare una domanda a 20 candidati e di dare un punteggio da 0 a 100 per ogni risposta ricevuta, sappiamo che l’ordine con cui il valutatore prenderà in esame le risposte potrà influenzare il voto. Questo poiché probabilmente il suo criterio oggettivo di valutazione può essere modificato man mano che la sua mente si rende conto di come i candidati stanno rispondendo, portando dunque ad avere un’oggettività iniziale diversa da quella finale.
Proviamo ora ad aumentare i candidati da 20 a 100.000, è facile intuire che il valutatore potrebbe impiegare molti giorni a valutare le risposte e questa sua oggettività potrebbe subire delle oscillazioni molto più ampie rispetto al caso di soli 20 candidati.
Se ora pensassimo di far valutare i testi dei 20 candidati ad una commissione di 10 esperti, è normale supporre che ogni valutatore potrebbe dare giudizi diversi alle singole risposte, specialmente se la scala fosse da 0 a 100.
Infine, se avessimo l’esigenza di far valutare milioni di risposte in tempi ragionevoli (qualche ora), si dovrebbe impiegare un numero di valutatori elevatissimo e distribuire le risposte in modo che un valutatore ne valuti solo poche. Non avremmo quindi più l’oggettività della commissione, ma solo una distribuzione probabilistica di accoppiamento valutatore – risposta.
In queste circostanze è difficili se non impossible determinare quale sia la risposta più pertinente (la migliore diciamo), perché la curva della qualità di valutazione si abbassa drasticamente all’aumentare del numero di candidati e di risposte.
Il progetto AISilomar ha l’ambizione di costruire un’oggettività algoritmica, assistita da un gruppo ristretto di esperti, che permetta alla rete neurale di leggere tutte le risposte in tempi accettabili (minuti, ore…) e classificarli in base alla pertinenza delle risposte in modo univoco.
In questo modo sarà possibile aggregare risposte che hanno un senso logico comune, la così detta Firma Logica, avere un’idea della dimensione dei gruppi logici, capire quanti candidati abbiano formulato risposte simili e, fra questi gruppi, classificare in modo ordinato le risposte che provengono dai canditati. Anche modificando l’ordine di introduzione delle risposte nel sistema, o rimuovendo o aggiungendo altre risposte, il sistema di valutazione non verrà mai influenzato ed è in grado di riprodurre la stessa valutazione per ogni singola risposta.