La calle de San Sebastián es una de las calles de Talavera de la Reina que surgen en la Edad Media, presumiblemente su origen esté en la necesidad de comunicar dos vías principales de la Villa, como son las calles Cerería y Mesones. Aunque aparece en la Baja Edad Media, es en siglo XVI cuando se empieza a forjar su trazado.
El nombre de San Sebastián se justifica por la existencia, en otro tiempo, de un hospital y ermita en este lugar, que estaba bajo la advocación del mártir San Sebastián (256-288), santo al que se tenía como abogado contra las pestilencias, tan frecuentes en aquellas épocas y que periódicamente azotaban las ciudades provocando gran mortandad.
Talavera no era una excepción y por ello desde el siglo XVI existe una gran devoción por este santo, al que se dedica este hospital, así como una pequeña ermita al otro lado del puente viejo, que desapareció en una fuerte crecida del río y que tenía como patronos tanto a San Sebastián como a San Fabián. El hospital de San Sebastián, que se ubicaba en esta calle, aparece en el siglo XV.
También estaba vinculado a Santa Catalina, como puede verse en algunos documentos en los que se menciona el “hospital de Señora Santa Cathalina” este hospital funcionó desde finales del siglo XV hasta el siglo XVIII, desapareciendo tras un periodo de decadencia. Una de las bellezas de esta calle que aún puede contemplarse, es una casa particular, donde un bello y sencillo arco ojival da paso a un patio típicamente talaverano. Es de destacar el enorme palacio que puede verse al comienzo de la calle, frente al antiguo cine Calderón.
Dicho palacio perteneció a la familia de Gil de Jibaja, y data de finales del siglo XVII. Francisco Gil de Jibaja, considerado como el primitivo residente de este palacio, fue nombrado noble por el rey Felipe V en 1714. También en este bello edificio residió la familia De la Llave, desde finales del siglo XVIII.Se dice que aquí se alojó el rey intruso José Bonaparte durante la invasión francesa. Actualmente aún puede verse un bello escudo nobiliario en su fachada. Ambos edificios mencionados son candidatos a haber albergado el antiguo hospital.