En junio de 1561, cuando la villa ya contaba con , Felipe II trasladó la corte de Toledo a Madrid, instalándola en el antiguo alcázar.