Fischer ble født i Praha i en jødisk familie. Han fullførte utdanningen sin ved det økonomiske universitetet i Praha i 1974. Fra 1980 til 1989 var han medlem i Det tsjekkoslovakiske kommunistpartiet. Etter studiet jobbet han i det tsjekkoslovakiske statistiske sentralbyrået, som han var leder for fra 1990 til splittingen av landet i 1993. I april 2003 ble han leder for det statistiske sentralbyrået i Tsjekkia ().