Das Palais war die Budaer Stadtresidenz der adeligen Familie Sándor. Es wurde 1806 errichtet. Später gehörte es der Pallavicini Familie. Ministerpräsident Graf Gyula Andrássy tauschte es für ein anderes Grundstück in Budapest ein und machte es 1867 zum Sitz seiner Regierungskanzlei. Am 3. April 1941 erschoss sich hier Ministerpräsident Graf Pál Teleki aus Verzweiflung über seine gescheiterte Außenpolitik gegenüber dem nationalsozialistischen Deutschland. Das Palais wurde bei der Schlacht um Budapest im Winter 1944/45 schwer beschädigt und 1945 von sowjetischen Soldaten geplündert.