La réalité virtuelle permet l'enregistrement des comportements humains dans des environnements immersifs libres et contrôlés.

Cependant, l'exploration interactive des données multimodales générées par un analyste comportemental reste un défi.
 L'exploration des données immersives sans connaissance préalable souligne la nécessité d'un outil de visual analytics. Un tel outil nécessiterait le développement d'un modèle permettant des requêtes sur une représentation plus abstraite des données.

Le Deep Learning a déjà montré sa capacité à extraire des caractéristiques pertinentes des mouvements humains. Cependant, les modèles générés avec cette approche restent difficilement explicables. Beaucoup de travaux ont été réalisés pour expliquer les prédictions d'un modèle aux analystes introduits aux concepts de Deep Learning. Cependant, peu d'entre eux ont envisagé l'utilisation des modèles de Deep Learning comme un outil d'assistance pour les analystes non introduits à ces concepts.

Cet article décrit un framework pour conceptualiser l'interaction entre un analyste et une représentation apprise des données immersives par un modèle de Deep Learning.