La première mention certaine de l’église remonte à l’année 850. Sa situation à l’extérieur des murs de la ville, près de la rivière du Mau et de ses affluents, explique son vocable Sancta Maria de Vallibus, devenu Notre-Dame-en-Vaux.
Dans une période de prospérité due aux célèbres foires de Champagne, la construction d’un nouvel édifice est entreprise vers 1145-1150. Mais, en 1157, une partie du bâtiment s’écroule sans faire de victime. Cet événement considéré comme miraculeux est à l’origine d’un pèlerinage marial d’ampleur régionale. L’afflux des dons des pèlerins et la participation des habitants au chantier permettent de terminer la construction. L’édifice sera remanié dans les siècles suivants.
Au XVIe siècle, des vitraux donnés par de riches paroissiens viennent décorer les baies des bas-côtés de la nef. Une verrière consacrée à saint Jacques est offerte en 1525 par Jehan Lallement et sa femme Anne Chenu. Elle a été réalisée et signée par le maître-verrier Mathieu Bléville.