Bobby Fischers ble født 9. mars 1943 i Chicago og vokste opp i Brooklyn, New York. Han var offisielt sønn av den tyske biofysikeren Hans-Gerhardt Fischer. Ifølge FBI, som hadde en mappe på 750 sider på Bobby Fischer, var hans biologiske far ungarskfødte Paul Nemenyi (1895-1952) som var en brilliant matematiker. Nemenyi var universitetslærer ved Technische Universität Berlin til 1933 da han som jøde mistet jobben og utvandret til USA. I 1942 underviste Nemenyi ved Colorado State College i Fort Collins. Hans mor var legen Regina Wender som var jøde og stammet fra Sveits. Hun innvandret til USA som barn. I tenårene reiste Regina Wender til Berlin og møtte der Hans-Gerhardt Fischer som var av jødisk opphav. Da nazistene kom til makten i 1933 flyktet de to til Sovjetunionen (der Regina fikk mulighet til å studere medisin); de giftet seg i Sovjetunionen og Regina fødte der datteren Joan. I 1938 flyktet Regina til Paris og reiste hjem til USA, mens Hans-Gerhardt Fischer ikke fikk innreise og de ble formelt skilt i 1945. Regina studerte ved Univeristy of Denver mens Nemenyi var universitetslærer i Colorado. Regina ble gravid med Bobby mens Hans-Gerhardt var i Chile på den tiden ifølge FBIs dokumenter. Regina fortalte uklare historier om Bobbys far: Hun skal ha sett Hans-Gerhardt siste gang i 1939, en annen gang fortalte hun at Bobby ble unnfanget da hun møtte Hans-Gerhardt i Mexico. Peter Nemenyi, Paul Nemenyis sønn fra tidligere ekteskap, skal ha omtalt Bobby Fischer som sin halvbror. Paul Nemenyi støttet Regina økonomisk så lenge han levde. Fischer var ivrig antikommunist, hadde mange antisemittiske holdninger og benektet holocaust. Han er kjent for sin eksentrisitet, sin ukonvensjonelle opptreden og sine ekstreme politiske synspunkter. Oppførselen ved sjakkbrettet var upåklagelig.