Computer Vision and Multimedia Lab  Welcome to the Computer Vision and Multimedia Lab website.

GET IN TOUCH

CVMLab e Expo 2015 - CVMLab and Expo 2015


Lunedi 25 maggio 2015 (foto) è stata presentata alla Cascina Triulza, a Milano, una iniziativa pavese: la mostra 1525-2015. Pavia, la Battaglia, il Futuro. Niente fu come prima, evento satellite di Expo 2015, poi inaugurata, nei nuovi spazi del Castello Visconteo di Pavia, il 13 giugno 2015 (foto) con l’esposizione di uno della celebre serie dei sette arazzi raffiguranti la Battaglia di Pavia (quello con la città di Pavia sullo sfondo).
Gli arazzi, esposti presso il Museo Nazionale di Capodimonte, furono tessuti a Bruxelles - probabilmente tra il 1528 e il 1531 - e rappresentano la celebre battaglia del 24 febbraio 1525, tra l'esercito francese guidato personalmente dal re Francesco I e l'armata imperiale di Carlo V, costituita principalmente da fanteria spagnola e lanzichenecchi tedeschi, guidata sul campo da Fernando Francesco d'Avalos e Carlo di Borbone. La battaglia si concluse con la netta vittoria dell'esercito dell'imperatore Carlo V e lo stesso re Francesco I venne catturato. Il dominio spagnolo in Italia fu totale.
Il Computer Vision & Multimedia Lab (CVML) del Dipartimento di Ingegneria Industriale e dell'Informazione dell'Università di Pavia, in collaborazione con l'Accademia delle Scienze di Bulgaria, nell’ambito del progetto europeo Advanced Computing for Innovation, partecipa alla mostra - aperta al pubblico sino al 29 novembre 2015 - con realizzazioni che coinvolgono i visitatori attraverso ricostruzioni 3D, simulazioni virtuali, interazione oculare e gestuale nella navigazione degli arazzi, presentando le diverse attività didattiche ed esperienziali realizzate dagli studenti della Facoltà di Ingegneria, sotto la guida del Prof. Virginio Cantoni, nell'ambito del corso di Computer Vision.
Viene inoltre presentata la trasposizione in immagini tattili del contenuto degli arazzi, per consentirne fruizione ed esplorazione da parte di persone ipo e non vedenti.




Ricostruzioni 3D e simulazioni virtuali

I progetti sono stati realizzati dagli studenti del corso di Computer Vision, utilizzando il software di modellazione CINEMA 4D in combinazione con Mixamo Fuse, che consente la creazione modulare di personaggi 3D.
Personaggi, edifici ed ambienti rappresentati nella celebre serie dei sette arazzi conquistano la terza dimensione!
I modelli sono stati poi stampati con stampante ProJet 460Plus full color 3D, grazie alla collaborazione con l'Accademia delle Scienze Bulgare nell'ambito del progetto della Comunità Europea Advanced Computing for Innovation.



Il pubblico è stato coinvolto nella scelta del modello migliore (ecco la lista dei modelli 3D), per una premiazione finale del gruppo di studenti che ha realizzato il lavoro più apprezzato. Premio: una licenza del software CINEMA 4D per modellazione e rendering, del valore di 1700,00 €, gentilmente concessa dalla ditta GRMstudio nell'ambito del Cinema 4D Academy Program.


Avatar
I modelli realizzati dagli studenti ripetono, "in terza persona", i movimenti di un utente posto davanti allo schermo.



Interazione oculare e gestuale

I sette arazzi vengono osservati e analizzati interagendo con il computer tramite un eye-tracker per l'interazione oculare e tramite il sensore Kinect per quella gestuale.
Nel primo caso i dati raccolti potranno poi essere utilizzati per ricerche sui percorsi di esplorazione di un’opera d’arte. Dove va il nostro occhio? Dove si sofferma e quanto a lungo? Ci sono dei comportamenti visivi legati, ad esempio, ad età e sesso?

Eye-tracking
I visitatori possono esplorare gli arazzi utilizzando unicamente lo sguardo (senza quindi l’uso di mouse o tastiera): è possibile effettuare ingrandimenti e operazioni di scrolling, nonché visualizzare informazioni relative a specifici soggetti dell’arazzo quando vengono osservati. Al termine dell’esplorazione oculare il visitatore può rivedere il proprio gaze replay, cioè un filmato che mostra “cosa ha guardato” - come sequenza di fissazioni, indicanti le aree degli arazzi su cui l’occhio si è soffermato. Da un sito web dedicato è inoltre possibile scaricare i gazeplot degli arazzi visitati, ossia immagini contenenti tutte le fissazioni rilevate dall’eye tracker.
 


Kinect
I visitatori sono in grado di selezionare un particolare arazzo e di spostare la visualizzazione su singoli dettagli tramite una interazione puramente gestuale.

Immagini tattili

Vedere con le mani: le immagini degli arazzi vengono "trasferite" in immagini tattili. Un'immagine tattile è un'immagine digitalizzata per poter essere letta con la punta delle dita; viene rappresentata in rilievo e può assumere forme differenti e essere prodotta con diverse tecniche. Ma non basta riprodurre semplicemente le immagini in rilievo: per l'interpretazione tattile, un'immagine viene inevitabilmente semplificata per essere trasferita ad un'immagine in rilievo che presenti forme distinte e logicamente omogenee, in modo tale che ogni componente risulti facilmente identificabile e possa veicolare i contenuti originari in maniera intelligibile.


Accompagnamento musicale
Come accompagnamento musicale e` proposta una raccolta di musiche rinascimentali, La figurazione delle cose invisibili: la musica a Milano ai tempi di Leonardo da Vinci (raccolta curata dal Prof. Massimo Lonardi dell'Istituto Superiore di Studi Musicali "Franco Vittadini" di Pavia, soprano: Renata Fusco, liuto: Massimo Lonardi), tra cui il brano di Leonardo "Rebus musicali".
Avendo cercato di comunicare azioni - descritte originariamente in modo pittorico - attraverso input tattile e codifica Braille, abbiamo abbinato un brano che sottolinea come la musica riesca a convogliare significati anche senza il bisogno del senso della vista.