El emperador Carlos V lo trasladó definitivamente a la incipiente ciudad de Madrid, mandando edificarlo fuera de los muros de la ciudad, junto a la Puerta del Sol.