La historia de este edificio se vincula a la poderosa Casa de Mendoza, que, en el siglo XIV, recibió el Señorío de Buitrago de manos del rey Enrique II de Castilla.