Il progetto SAKURA (System for Augmented Kinetics and Unified Rehabilitation Assessment) prevede la realizzazione di un sistema intelligente basato su algoritmi di Computer Vision e Intelligenza Artificiale e su tecnologie di realtà aumentata (AR) per la riabilitazione medica a distanza.
Il sistema consente al medico di indossare un visore di realtà aumentata e di eseguire esercizi che prevedono l’interazione con oggetti (es. versare un bicchiere d’acqua) che il paziente, situato in un luogo remoto, indossando un altro visore di realtà aumentata, dovrà poi ripetere. L'interazione del medico con gli oggetti reali presenti nell’ambiente, vengono virtualizzati e visualizzati nell’ambiente del paziente sottoforma di ologrammi in modo che il paziente potrà eseguire i gesti del medico con alta precisione.
Al fine di realizzare il sistema SAKURA è necessario lo studio e il design di algoritmi di intelligenza artificiale capaci di analizzare automaticamente immagini e video egocentrici al fine di inferire posizione e forma 3D delle mani e degli oggetti con cui gli utenti interagiscono nel sistema di riferimento dell’ambiente in cui l’utente si trova. La discrepanza tra la posizione effettiva delle mani e degli oggetti e quella 5 ideale verrà misurata quantitativamente, fornendo un feedback dettagliato per il follow-up e l'assessment della riabilitazione.