El barrio de la Puerta de Cuartos, es uno de los lugares más característicos de Talavera. Debe su nombre a una de las monumentales puertas de la ciudad, la Puerta de Cuartos, que era parte del tercer recinto amurallado y que, desgraciadamente, fue derribada en el año 1904, perdiendo con ello un símbolo de identidad y una interesante atracción turística. También se considera como el barrio obrero de Talavera, al haber estado allí las industrias que configuraron la ciudad, comenzando en el siglo XVIII con la Real Fábrica de Sedas.
Además, en el Alfar del Carmen se encontraba la fábrica de cerámica de Emilio Niveiro, que llegó a ser la única que quedaba a comienzos del siglo XX, hasta que Juan Ruiz de Luna revitalizó la cerámica, dándole un nuevo impulso. En este barrio destaca la iglesia de San Andrés, así como curiosas callejas, como la Entrada al Tinte, donde aún pueden verse restos pertenecientes a la casa del tinte de la Real Fábrica de Sedas. Antiguamente se encontraba en este barrio la ermita de San Antonio Abad, que debía ser una maravilla al estar llena de paneles cerámicos, muchos de ellos conservados en la actual Basílica del Prado. A la entrada de la calle, junto a la Puerta de Cuartos, estaba la casa natal del Padre Juan de Mariana.
