Los Osuna levantaron en esta parte de Madrid su palacio para su residencia en la Corte, instalándose posteriormente en un terreno próximo a ellos el Príncipe Francisco Pío de Saboya, Conde de Castel Rodrigo, que erigió su palacio haciendo ángulo con la fachada principal del de Osuna.