Vous voilà à présent en face de l'ancienne église Saint-Hilaire, ou du moins ce qu’il en reste. Si le site est en ruine depuis des décennies, il rappelle aux visiteurs, comme vous aujourd’hui, qu’un lieu de culte agenais fut fondé sur cette terre au XIe siècle. Aussi connu sous le nom de tour des Pénitents, en référence à son clocher-mur, le monument a d’abord été le lieu de réunion d’une confrérie de catholiques laïcs, pour la pratique de leur foi. À la suite de la Révolution, l’édifice est réquisitionné en tant que grenier à fourrage pour les montures des gendarmes, avant de finalement être vendu comme bien national. Malgré un parcours jusque-là sans embûches, l’ancienne église Saint-Hilaire connaîtra son premier épisode de destruction, causé par la création d’une nouvelle rue au XIXe siècle. Dès qu’il s’agissait de développer la ville à cette époque, on ne s'embêtait guère avec le patrimoine existant. D’autres activités, ainsi qu’un incendie en 1913, se chargeront d’endommager sévèrement les parties restantes de ce bien, classé monument historique en 1950.