L’abbaye et le village portent le nom d’Avitus (v. 490-570), l’un des grands ermites et évangélisateurs du Périgord. Le monastère, affilié à l’origine à Saint-Sernin de Toulouse et à l’ordre augustinien, est fondé au milieu du XIe siècle. Son implantation est volontairement choisie en amont du petit oratoire paléochrétien appelé Sainte-Marie du Val, où Avitus fut enseveli en 570.
C’est à la fin du XIIIe siècle qu’est peint à la détrempe l’impressionnant treillis décoratif et coloré qui couvre la totalité des murs et des voûtes de la nef. Le monastère est dévasté lors des guerres albigeoises et anglaises (XIIIe– XVe siècles). En janvier 1577 les huguenots s’en emparent, et s’acharnent sur le décor sculpté du cloître. Ces sculptures remarquables ont été exhumées entre 1964 et 1983 lors de fouilles archéologiques. Créées durant le premier tiers du XIIe siècle, elles sont comparables à celles de Saint-Pierre de Moissac ou de Sainte-Marie d’Oloron.
Le culte de saint Avit explique la monumentalité de l’église, de plus de 60 m de long, destinée à accueillir, comme à Cadouin, de nombreux pèlerins venus de loin pour le vénérer. Distants d’une dizaine de kilomètres, les sites de Saint-Avit-Sénieur et de Cadouin, au sud de Périgueux, se situent sur l’axe de liaison entre les actuelles voies jacquaires dites de Vézelay et du Puy-en-Velay, reliant Bergerac à Rocamadour.
