Su constructor fue Gregorio Gallo, obispo de Segovia, que trasladó el solar familiar desde la cercana Quintanilla Escalada.