En 1465, mientras Hanequin de Bruselas y su hijo Hanequin de Cuéllar comenzaron las obras, Beltrán de la Cueva consiguió una autorización del Obispo de Segovia, Juan Arias Dávila, para derribar los restos de la iglesia de San Nicolás, que se situaban frente a la fachada principal, y así expandir la fortaleza: