Fischer ble født som tredje barn av ungarsktyske foreldre, som hadde måttet forlate Budapest i 1946 etter at Ungarn var blitt okkupert av Sovjetunionen. Hans fornavn «Joschka» er avledet av , en ungarsk kortform for Josef (ungarsk ).