De 1579 jusqu’au début du XXe siècle, il s’agissait du presbytère où vivait le prêtre de la paroisse. En 1579, il y a mention de la maison claustrale dans la liste des biens appartenant au prieuré de Carros. Ensuite, le bâtiment a servi d’école au village, mentionnée au XVIIIe siècle. Les prieurs de la paroisse sont J-B Cépède (1626-1649), Jean Laugier (1649-1658), Jean Cavalier (1658) et Jacques Trastour (1670-1674).
Les remplois antiques trouvés à l’intérieur du prieuré, ajoutés à ceux trouvés lors de la fouille de Notre Dame de Cola et au monument cinéraire à double compartiment, réutilisé comme base de calvaire, semblent indiquer la présence d’un important site gallo-romain, dont une des utilisations a sans doute été une nécropole.