El Hospital de la Misericordia fue fundado por Hernando Alonso, visitador del Arzobispo Carrillo, en 1475. En el siglo XVI gracias a las donaciones de bienes del caballero talaverano Juan Castrillo y su hermana, Juliana de Guzmán, así como las aportaciones de Sancho de Villageda, se aumentan las rentas y se construye un nuevo edificio. Debido a ello, se pueden contemplar sus escudos de armas en el dintel de la puerta principal.
Las obras comienzan en la última década del siglo XVI, durando hasta 1602. En 1704 se hace una ampliación del hospital y en 1808, con la invasión francesa, resultó muy dañado y no se recuperó hasta 1820. La Junta Municipal de Beneficencia se hizo cargo del edificio en 1837, con lo que deja de ser una institución religiosa y se convierte en Hospital Municipal o Casa de Socorro, aunque regido por las Hermanas de la Caridad de San Vicente de Paul, así estuvo hasta la década de 1980.
Actualmente es el Centro Cultural Rafaél Morales, y en él se encuentra el Organismo Autónomo Local de Cultura del Ayuntamiento. En la parte baja se han encontrado restos romanos pertenecientes a la domus de un comerciante, así como restos de dos templos, que bien merecen una visita y que han probado que el foro romano de la antigua Caesarobriga estaba en la Plaza del Pan, tal y como siempre se había sospechado por parte de historiadores talaveranos.
