Fischer kom fra Sudetenland, det overveiende tysktalende området i Tsjekkoslovakia. Der ble han før utbruddet av andre verdenskrig utdannet til skredder.