Au 16e siècle, un nouveau bâtiment vient s’ajouter sur la colline, celui du Prieuré. Dans un premier temps, l’édifice est bien distinct de l’église et un grand caveau, utilisé pour la viticulture, occupe tout le premier niveau de la moitié nord du bâtiment. Dans un second temps, le Prieuré est agrandi au sud jusqu’à être relié à l’édifice religieux grâce à des murs d’enceinte.
L’église de Pully voit donc l’ajout d’un prieuré sur ses terres. Mais il ne s’agit pas d’un prieuré comme le terme le sous-entend. En effet, le « Prieuré » n’a jamais accueilli de monastère et doit seulement son nom « au fait qu’il était à l’origine propriété des moines du Prieuré de Payerne » (cf. Rapport de la ville de Pully). Malgré la charte de la reine Berthe, l’église de Pully passe successivement sous l’autorité de l’abbaye de Saint-Maurice et celle de Payerne. Lorsque l’église de Pully se retrouve sous la possession de Payerne, des moines de l’abbatiale font construire à Pully une maison rurale servant à accueillir les vignerons du prieur de Payerne dans le but d’exploiter les vignes pulliéranes. Et c’est pourquoi le « Prieuré » est construit ! Les vignes de Pully étaient déjà réputées à cette époque, comme le confirme notamment la découverte des vestiges du pressoir du 14e siècle.