La historia de este palacio desaparecido en el siglo XIX comenzaba en el el XVII, En 1620 existía ya el Oratorio de los duques de Osuna junto a sus casas principales, y el 30 de agosto de 1629 compraron una casa y sus terrenos agregados en la calle Alta de Leganitos para ampliar su residencia.