Madrigal de las Altas Torres era entonces una pequeña villa de realengo donde circunstancialmente residía su madre, Isabel de Avis, y de ella recibe el nombre que entonces no era frecuente en España.