Villefranche-de-Rouergue, vaste bastide fondée par Alphonse de Poitiers en 1252, a été une puissante ville de commerce à la fin de l’époque médiévale. Sa situation à l’ouest de l’Aveyron entre Causse et Ségala, et à proximité du Quercy a également favorisé son rayonnement administratif, politique et religieux.

La ville, qui accueille foires et marchés, devient le siège de la sénéchaussée du Rouergue et bat monnaie pour le roi de France dès le dernier tiers du XIVe siècle. S’y implantent plusieurs monastères ou couvents (franciscains, chartreux, augustins), des congrégations (visitandines, ursulines, clarisses, carmélites) ainsi que deux confréries de pénitents. Ces établissements religieux ou laïcs témoignent de la vitalité de la dévotion à Villefranche-de-Rouergue.

La bastide se dote dès 1339 d’un hôpital Saint-Jacques, puis en 1455 d’une chapelle éponyme fondée par les consuls, dans laquelle s’établira en 1493 la "confrérie dévote du Bienheureux saint Jacques". Ces fondations, destinées à offrir réconfort, conseils et hospitalité aux pèlerins qui cheminaient à travers le Rouergue, attestent de l’ancienneté et du rayonnement de cette halte sur un itinéraire de pèlerinage.