La peste castigó con virulencia a Talavera, provocando una gran mortandad en el año 1507. Debido a esto se habilitó en un terreno a las afueras de Talavera, saliendo por la puerta de Zamora, un cementerio para enterrar exclusivamente a las víctimas de la peste. Esto daría origen a la ermita consagrada a los Santos Mártires, demolida en el siglo XVIII.