Po stłumieniu powstania węgierskiego z 1848 w latach 1851–1856 był rezydencją Albrechta Fryderyka Habsburga mianowanego na gubernatora Węgier. To on dał pomysł premierowi, grafowi Gyuli Andrássy’emu, by budynek (w tamtych czasach bardzo reprezentacyjny) państwo węgierskie najpierw wynajęło, a potem w 1881 ostatecznie zakupiło jako stałe miejsce zamieszkania dla kolejnych premierów. Pierwszym jego mieszkańcem był sam Andrassy, a potem (z krótkimi przerwami) do 1945 jego następcy, w sumie szesnastu, chociaż było ich więcej, ale krótko rządzącym późniejszym premierom nawet nie starczyło czasu, by się tu sprowadzić. W pałacu Sándorów w nocy z 2 na 3 kwietnia 1941 na wieść o wkroczeniu wojsk niemieckich na terytorium Węgier w drodze do Jugosławii popełnił samobójstwo premier Pál Teleki.