El marqués pasaba gran parte del tiempo fuera de Madrid, viajando por Europa, de modo que pensó este palacio no como su hogar habitual, sino como sede de sus colecciones, donde pudiese organizar fiestas y recibir visitas cuando acudía a Madrid.