Un premier édifice, dédié au Saint-Sépulcre, est érigé vers 1087. La crypte, ainsi que quelques remplois sculptés témoignent de cette église primitive. Une église prieurale est érigée entre 1152 et 1190, grâce à des dons de Frédéric Barberousse. Le nouvel édifice, construit sur un plan basilical avec un transept peu marqué, présente un style qui se rapproche davantage des réalisations lorraines et bourguignonnes que de l'art roman rhénan. Les bénédictins veillent sur le sanctuaire jusqu'au début du XVe siècle. Le portail principal de l'église, datant de la seconde moitié du XIIe siècle, conserve toutes ses sculptures d'origine. La porte Nord romane, à colonnes, coussinets et rouleaux sculptés, date de la seconde moitié du XIIe siècle. Les tailleurs de pierre responsables des chapiteaux des colonnes arrivent de Saint-Dié, d'un monastère de l'église primitive d'Irlande, possédant une liturgie fortement empreinte de symboles celtes. Responsables des décors romans des églises de Saint-Dié, on retrouve une forte ressemblance entre le décor de leurs chapiteaux et ceux reproduits dans le manuscrit de Kells-Iona2. Des chapiteaux à feuilles d'acanthe, provenant probablement de l'édifice primitif du XIe siècle, sont remployés lors de la reconstruction du XIIe siècle.