A comienzos del siglo XVI vivía en Talavera doña María de Ayala, hija de don Hernando Álvarez de Toledo y Meneses y de doña María. Tenía parentesco con el conquistador Francisco de Aguirre y el palacio de los Ayala, propiedad de doña María llegó a ser, con el transcurso del tiempo, el antiguo museo de Ruiz de Luna.
