Si, dès le Moyen Âge, le village de Pully s’agrandit et prend de plus en plus d’importance, ses habitants sont loin de se douter de la présence d’une villa romaine sous leurs pieds. Après son abandon, cette dernière tombe peu à peu dans l’oubli…
Le majestueux palais devra patienter plusieurs siècles sous terre avant d’être ramené à la lumière par les archéologues. En effet, si entre le 17e et le 19e siècle plusieurs objets archéologiques sont mis au jour par hasard, il faudra attendre le 20e siècle pour que de véritables fouilles archéologiques soient entreprises sur le site.
Le développement de l’agglomération efface progressivement toute trace visible d’une présence romaine dans la mémoire populaire. L’absence de la mention de l’édifice sur les plans cadastraux des années 1689, 1744 et 1842-43 en est la preuve. Malgré cela, les découvertes fortuites d’objets archéologiques rappellent régulièrement aux habitants de Pully leur passé romain.
Ce plan cadastral de Pully est le plus ancien conservé à ce jour. Pourtant, sur ce document, si le Prieuré de Pully et le temple sont localisés, il n’est fait aucune mention de la villa romaine, preuve que le monument a sombré dans l’oubli au fil des siècles.