Paralelamente, el pequeño núcleo urbano que se había articulado alrededor del palacio desde tiempo de Felipe II fue incorporado, en 1949, a la ciudad de Madrid, constituyendo uno de los ocho barrios del distrito Fuencarral-El Pardo.