Computer Vision and Multimedia Lab

Welcome to the Computer Vision and Multimedia Lab website.

Elaborazione di immagini e modellazione 3D di strumenti musicali storici /
Image processing and 3D modeling of historical musical instruments

Attività in corso dal 2014 svolta in collaborazione con il Laboratorio Arvedi di Diagnostica Non Invasiva dell'Università di Pavia, situato presso il Museo del Violino di Cremona. L'obiettivo è lo studio di strumenti musicali storici (con particolare attenzione ai violini e agli strumenti ad arco conservati presso il Museo), al fine di comprendere il loro stato di conservazione, di mappare le eventuali fasi di alterazione presenti e di caratterizzare i materiali costitutivi. I molteplici restauri effettuati durante i secoli per mantenere gli strumenti in uso hanno creato una superficie molto complessa, difficile da interpretare correttamente.

I principali filoni di ricerca in questo ambito riguardano:

analisi di immagini in fluorescenza indotta da luce UV (UVIFL)
scansione e modellazione 3D
applicazioni di interazione Uomo-Macchina (HCI) per la divulgazione scientifica

Analisi di immagini UVIFL
La fotografia in fluorescenza indotta da UV (UVF or UVIFL) è una tecnica analitica non invasiva, ampiamente usata nel campo dei beni culturali, che consente di vedere dettagli di una superficie non percepibili con la luce visibile, come ad esempio restauri, ritocchi o alterazioni. Nello specifico, nel caso degli strumenti musicali storici, le immagini UVF sono usate per decidere dove applicare ulteriori tecniche diagnostiche, più precise ma più lente, come ad esempio la spettroscopia XRF o FTIR. L'analisi delle immagini UVF è tradizionalmente svolta da esperti ad occhio nudo, col rischio di errori umani, specialmente quando si confrontano i colori di fluorescenza in immagini differenti. Per migliorare questa fase sono stati sviluppati vari algoritmi di elaborazione delle immagini al fine di evindenziare la distribuzione delle vernici sull'intera superficie dei violini, identificare le aree usurate e permettere confronti fra strumenti. Inoltre è stato realizzato un apposito tool (UVAnalyzer) che implementa tutti questi metodi per consertirne un accesso user-friendly a scienziati e restauratori. Attualmente stiamo lavorando sull'analisi multi-temporale delle immagini UVIFL (vedere il DATASET di riferimento) al fine di produrre nuovi metodi per il monitoraggio costante dello stato di conservazione dei violini (conservazione programmata). Quest'ultima attività è svolta in collaborazione con l'Université Paris-Sud (Francia).

Scansione e modellazione 3D
La digitalizzazione delle opere d'arte è ormai una pratica standard in molti musei e siti archeologici. Un modello 3D fedele può essere molto utile per studiare la morfologia dell'oggetto originale senza il rischio di danni. Questo è particolarmente vero nel caso dei violini storici, dal momento che un uso continuo del calibro per prendere misure può rovinare le vernici. Tuttavia, la scansione 3D dei violini storici non è semplice ma presenta vari problemi principalmente a causa della loro morfologia complessa e della riflettività delle vernici. Dopo una serie di test condotti nel laboratorio Arvedi con violini di prova, abbiamo definito un protocollo ad hoc per l'acquisizione di modelli 3D di violini utilizzando uno scanner laser ad alta risoluzione. Il protocollo è stato quindi testato per l'acquisizione di vari strumenti conservati presso il Museo del Violino. I modelli 3D ottenuti hanno permesso di studiare e confrontare dimensioni e forme dei violini di diversi autori e periodi. Gli esperimenti proseguono ora su altri tipi di strumenti storici in collaborazione con varie istituzioni e musei, come ad es. corni da caccia provenienti dal Castello Sforzesco di Milano o strumenti popolari dal "Museo del Paesaggio Sonoro" di Riva Presso Chiero (Torino).

Applicazioni HCI per la divulgazione scientifica kinect
Le tecnologie digitali per migliorare la fruizione di musei e mostre hanno lo scopo principale di connettere persone, cultura e tecnologie. Applicazioni interattive e immersive si sono rivelate molto utili per presentare informazioni culturali a un vasto pubblico; infatti, molti musei o mostre temporanee in tutto il mondo ora adottano serious game o applicazioni di realtà virtuale e aumentata per presentare le loro collezioni. In questo contesto, abbiamo progettato varie applicazioni che possono essere utilizzate per mostrare i risultati di analisi scientifici su violini o altre opere d'arte in modo accattivante e comprensibile anche a persone non esperte nel settore. Abbiamo considerato sia l'interazione gestuale che quella con lo sguardo, rispettivamente tramite l'uso di Kinect e dispositivi eye-tracker. Stiamo inoltre studiando l'utilizzo della Realtà Aumentata per presentare sia i modelli 3D acquisiti che i dati scientifici provenienti dai vari esami non invasivi eseguiti.

Pubblicazioni correlate

Riviste scientifiche internazionali

Piercarlo Dondi, Luca Lombardi, Marco Porta, Tommaso Rovetta, Claudia Invernizzi, Marco Malagodi (2019). What do luthiers look at? An eye tracking study on the identification of meaningful areas in historical violins, Multimedia Tools and Applications, Vol. 78, Issue 14, pp. 19115-19139, DOI: 10.1007/s11042-019-7276-2
Piercarlo Dondi, Luca Lombardi, Irene Rocca, Marco Malagodi, Maurizio Licchelli (2018). Multimodal workflow for the creation of interactive presentations of 360 spin images of historical violins, Multimedia Tools and Applications, Springer Science+Business Media, LLC, part of Springer Nature 2018, Springer US, November 2018, Volume 77, Issue 21, pp. 28309–28332, Print ISSN: 1380-7501, Online ISSN: 1573-7721, DOI:10.1007/s11042-018-6046-x
Piercarlo Dondi, Luca Lombardi, Claudia Invernizzi, Tommaso Rovetta, Marco Malagodi and Maurizio Licchelli, (2017). Automatic analysis of UV induced fluorescence imagery of historical violins, Journal on Computing and Cultural Heritage (JOCCH), Volume 10 Issue 2, March 2017, ACM New York, NY, USA, DOI:10.1145/3051472.
Piercarlo Dondi, Luca Lombardi, Marco Malagodi, Maurizio Licchelli, (2017). 3D modelling and measurements of historical violins, ACTA IMEKO, Vol 6, No3, Sep. 2017, pp. 29-34, DOI:10.21014/acta_imeko.v6i3.455.
Piercarlo Dondi, Luca Lombardi, Marco Malagodi, Maurizio Licchelli, (2016). Automatic identification of varnish wear on historical instruments: The case of Antonio Stradivari violins, Journal of Cultural Heritage, Vol 22 (Nov-Dec 2016), pp. 968-973, Elsevier, DOI:10.1016/j.culher.2016.05.010.
Piercarlo Dondi, Luca Lombardi, Marco Malagodi, Maurizio Licchelli, and Fausto Cacciatori, (2016). Color-based automatic detection of worn out varnishes on Stradivari's “Scotland University” violin back plate, Color Research & Application, Special Issue: Bridging Science with Art, Volume 41, Issue 3, pages 313–316, article first published online: 29 DEC 2015, Wiley Periodicals, Inc. Col Res Appl, DOI:10.1002/col.22012.

Conferenze internazionali

Alireza Rezaei, Sylvie Le Hégarat-Mascle, Emanuel Aldea, Piercarlo Dondi, Marco Malagodi (2021). One step clustering based on a-contrario framework for detection of alterations in historical violins, in 25th International Conference on Pattern Recognition (ICPR2020), pp. 9348-9355, IEEE, DOI:10.1109/ICPR48806.2021.9412129.
Piercarlo Dondi, Luca Lombardi, Marco Malagodi, Maurizio Licchelli (2021). Stylistic Classification of Historical Violins: A Deep Learning Approach, in Del Bimbo A. et al. (eds.), Pattern Recognition. ICPR International Workshops and Challenges. ICPR 2020. Lecture Notes in Computer Science, vol 12667, Springer, Cham, pp. 112-125, DOI:10.1007/978-3-030-68787-8_8.
Michela Albano, Giacomo Fiocco, Piercarlo Dondi, Francesca Tasso, Valentina Ricetti, Daniela Comelli, Maurizio Licchelli, Claudio Canevari, Marco Malagodi (2020). Preliminary study of the shapes and materials of two natural horns of the end of the 17th century, in MetroArcheo2020, International Conference on Metrology for Archaeology and Cultural Heritage, Trento, Italy, 22-24 October 2020, pp. 454-459.
Piercarlo Dondi, Luca Lombardi, Marco Malagodi, Maurizio Licchelli (2019). Segmentation of Multi-temporal UV-Induced Fluorescence Images of Historical Violins, in Cristani M., Prati A., Lanz O., Messelodi S., Sebe N. (eds.), New Trends in Image Analysis and Processing, ICIAP 2019. Lecture Notes in Computer Science, vol 11808, pp. 81-91, Springer, Cham, print ISBN: 978-3-030-30753-0, online ISBN: 978-3-030-30754-7, DOI:10.1007/978-3-030-30754-7_9
Alireza Rezaei, Emanuel Aldea, Piercarlo Dondi, Marco Malagodi, Sylvie Le Hégarat (2019). Detecting alterations in historical violins with optical monitoring, Proc. SPIE 11172, Fourteenth International Conference on Quality Control by Artificial Vision, 1117210 (16 July 2019), DOI:10.1117/12.2521702
Giacomo Patrucco, Filiberto Chiabrando, Piercarlo Dondi, and Marco Malagodi (2018). Image and Range-Based 3D Acquisition and Modeling of Popular Musical Instruments, Proceedings from the Document Academy, Vol. 5, Iss. 2, Article 9.
Piercarlo Dondi, Luca Lombardi, Marco Malagodi, Maurizio Licchelli, (2016). Measuring Stradivari violin “Cremonese” (1715) by 3D Modeling, in Proocedings of 2nd IMEKO International Conference of Metrology of Archaeology and Cultural Heritage (MetroArcheo 2016), pp. 29-33, IMEKO, Torino 19-21 October 2016, ISBN: 978-92-990075-4-9.
Piercarlo Dondi, Luca Lombardi, Marco Malagodi, Maurizio Licchelli, Tommaso Rovetta, Claudia Invernizzi (2015). An Interactive Tool for Speed up the Analysis of UV Images of Stradivari Violins, New Trends in Image Analysis and Processing, Proceedings of ICIAP 2015 International Workshops, Genoa, Italy, September 7-8, 2015, Volume 9281 of the series Lecture Notes in Computer Science, Springer International Publishing, pp 103-110, Print ISBN: 978-3-319-23221-8, Online ISBN: 978-3-319-23222-5.
Dondi Piercarlo, Invernizzi Claudia, Licchelli Maurizio, Lombardi Luca, Malagodi Marco, Rovetta Tommaso (2015). Semi-automatic system for UV images analysis of historical musical instruments, Proc. SPIE 9527, Optics for Arts, Architecture, and Archaeology V, 95270H, DOI:10.1117/12.2184744.

Altre

Tiziana Cavaleri, Tommaso Rovetta, Giacomo Fiocco, Piercarlo Dondi, Marco Malagodi, Monica Gulmini, Anna Piccirillo, Marco Pisani, Massimo Zucco, Marco Gargano (2020). A new imaging method of fluorescence induced by multispectral UV for studying historical musical instruments coatings, in Conservation 360°: UV-Vis Fluorescence imaging techniques, Editorial Universitat Politècnica de València.
Piercarlo Dondi, Giusj Valentina Fichera, Claudia Invernizzi, Maurizio Licchelli, Marco Malagodi, Tommaso Rovetta, (2017) The Messie model, research on materials and study of moulds, in Alf G., Cacciatori F., "The Absolute Stradivari, the Messie violin 1716/2016", Cremona, Fondazione Museo del Violino Antonio Stradivari, 2016, pp.89-112, ISBN: 8890917970
Tommaso Rovetta, Alessandra Chiapparini , Piercarlo Dondi, Giusj Valentina Fichera, Claudia Invernizzi, Marco Malagodi, Maurizio Licchelli, (2016). Metodi analitici non invasivi per lo studio dei materiali degli strumenti musicali antichi, in Archeomatica, anno VII #2, pag. 20-25, July 2016.
Marco Malagodi, Tommaso Rovetta, Piercarlo Dondi, Claudia Invernizzi, Giusj Valentina Fichera, Maurizio Licchelli (2015). La materia del Cremonese, in Il Cremonese 1715-2015, 300° anniversario, Fondazione Museo del Violino Antonio Stradivari Cremona.