Jego ojciec pracował dla amerykańskiego przedsiębiorstwa, dlatego w 1950 roku trafił do więzienia na pięć lat, zwolniono go kilka dni po rewolucji węgierskiej. W 1956 Sándorfi wraz z rodziną opuścił Węgry, jadąc do Austrii, później Niemiec Zachodnich oraz Francji, gdzie trafił w 1958 roku. Sándorfi zaczął rysować w wieku ośmiu lat a malować obrazy olejne cztery lata później. Ukończył École nationale supérieure des Beaux-Arts oraz École nationale supérieure des arts décoratifs.