Když na sklonku roku 1349 dal Karel IV. norimberským měšťanům souhlas se zřízením velkého tržiště na místě dosavadního židovského ghetta, a nepřímo tak připustil následný pogrom, vymínil si, že na místě synagogy vznikne kaple zasvěcená Panně Marii. Tak se také stalo.