La primera noticia de su existencia data del año 1348, cuando Don Juan Manuel, hijo del infante don Manuel, dona este complejo a Elvira Blázquez, mujer de Pedro González Dávila, repoblador de Ávila y cabeza del linaje Velázquez de Cuéllar, quien llegó a la villa a principios del y en pocos años llegó a ser uno de los más importantes personajes de la época cuellarana, como lo atestigua haber sido uno de los fundadores de la Casa de los Linajes de Cuéllar.