Ce batiment a été donné en 1079 par Guigues, Comte de la place d'Albon à l'abbé Hugues.
Sa construction remonte aux XI ème - XII ème siècle.
Certaines parties ont été remaniées au XVème ou XVIème siècle. La pierre utilisée est de la molasse, grès argileux très tendre, de teinte blonde.
Une association s'occupe actuellement à l'animation du lieu : L'Association des Amis du Prieuré de Manthes.
Plus d'informations sur le site internet de cette association : prieure-manthes.fr