Esposizione di applicazioni sviluppate in ambito accessibilità
(interazione oculare, didascalie tattili, ricostruzione di affreschi)

in occasione di ABILITANDO "Dove la tecnologia incontra la disabilità"

venerdì 4 e sabato 5 ottobre 2019
presso il Complesso monumentale di Santa Croce in Bosco Marengo (AL)

Sono state esposte applicazioni realizzate per:

>> scrivere con gli occhi
>> suonare con gli occhi
>> ricostruire affreschi "pensando per immagini" (progetto DAFNE)
>> leggere dipinti con le dita (didascalie tattili)

Quanto esposto è il risultato delle attività di ricerca sviluppate presso il Laboratorio di Visione Artificiale e Multimedia (CVML) del Dipartimento di Ingegneria Industriale e dell’Informazione dell'Università di Pavia. Le applicazioni sono state prodotte e testate dagli studenti del corso di laurea triennale in “Ingegneria Elettronica e Informatica” e del corso di laurea magistrale in "Computer Engineering" con la supervisione dei docenti del laboratorio, guidato dal prof. Virginio Cantoni.

1. Una postazione era dedicata ad Eye-S, un sistema per fornire input al computer tramite gesti oculari. Questo approccio, basato solo sullo sguardo, utilizza l’eye tracker, un dispositivo che misura la posizione e il movimento degli occhi. In particolare, sfruttando il concetto di “gesto oculare”, l’utente crea le lettere dell’alfabeto e i segni di punteggiatura osservando in sequenza alcune aree sensibili sullo schermo. Tali aree, rettangolari, sono posizionate al centro, ai quattro vertici e nel punto medio di ciascun lato. Un vantaggio di Eye-S rispetto ad altre soluzioni di scrittura oculare è il fatto che le aree sensibili sono mostrate in semitrasparenza (e potrebbero anche essere nascoste), lasciando quindi lo schermo libero per la visualizzazione di qualsiasi altro contenuto. Eye-S è concepito per gli utenti che non possono muovere le mani e quindi necessitano di metodi di input alternativi a quelli basati su tastiera e mouse.

2. Una seconda postazione era dedicata a Netytar, uno strumento musicale digitale virtuale (Virtual DMI) completo, appositamente progettato per essere suonato senza mani. Utilizzando l’eye tracker, il musicista può selezionare una nota, che sarà poi eseguita mediante un sensore a fiato o il movimento della testa. Netytar è progettato per l’accessibilità, in particolare per persone che non hanno controllo sui movimenti delle proprie mani e che quindi non potrebbero suonare uno strumento musicale tradizionale. È uno strumento monofonico completo, paragonabile ad un flauto o un sassofono.

3. Una terza postazione era dedicata a Javastylosis, un’applicazione sviluppata per consentire a persone che “pensano per immagini” – condizione di «visual thinking» relativamente diffusa all’interno dello spettro autistico – di spostare le immagini dei frammenti di affreschi andati distrutti, per ricostruire virtualmente l’affresco. Il software associa agli spostamenti una tabella con le coordinate della posizione finale e l’angolo di rotazione applicato ad ogni frammento, dati utili al restauratore nella fase concreta di ricostruzione dell’affresco.

4. Era esposta una prova di stampa di una didascalia tattile realizzata per il dipinto “Cristo e la Samaritana” di Annibale Carracci, il cui prodotto finale è esposto, accanto al capolavoro originale, alla Pinacoteca di Brera di Milano. Una didascalia tattile è una riproduzione 3D di un’immagine bidimensionale, rappresentata in rilievo per poter essere letta con la punta delle dita. Il procedimento applicato prevede la digitalizzazione dell’immagine originale, la segmentazione e la semplificazione atte a renderla riproducibile in rilievo con forme distinte e logicamente omogenee. Ogni componente, a cui viene associato un carattere Braille, deve risultare facilmente identificabile e in grado di veicolare i contenuti originari in maniera intelligibile. La legenda e una breve frase esplicativa in Braille completano l’immagine 3D predisposta per un’interpretazione tattile.


Il CVML ha partecipato ad Abilitando fin dalla sua prima edizione. Altro partner importante, in questi anni, è stato il Rotary, guidato in particolare dal Rotary Club Gavi-Libarna, con il supporto del Distretto 2032. A testimonianza di questo mutuo interesse sono riportati gli incontri presso lo stand del CVML dei Presidenti passati, in carica e futuri di RC Gavi-Libarna.

Questo poster riassume quanto esposto.

Foto (per ingrandire cliccare sull'immagine)

Video

>> visitatrice suona con gli occhi
>> Nicola Davanzo suona con gli occhi
Nicola Davanzo (con la supervisione dei relatori Mauro Mosconi e Marco Porta e la collaborazione di Piercarlo Dondi) ha sviluppato e testato la prima versione di Netytar, uno strumento musicale digitale virtuale (Virtual DMI) completo - appositamente progettato per essere suonato senza mani - come parte di una tesi di Laurea Magistrale in Ingegneria Informatica, presso l’Università di Pavia, nel Febbraio del 2018. Il lavoro di ricerca su questo strumento prosegue come progetto di dottorato presso l’Università di Milano, nel Laboratorio di Informatica Musicale (LIM).

---