Se trata de la casa solar de la familia Velázquez de Cuéllar, quienes lo llamaron a partir del Casa de la Torre, y actualmente es conocido con el nombre de Pedro I por haber celebrado este monarca castellano su banquete de bodas con Juana de Castro en 1354 en el edificio.