Fischer ble født i Bevensen. Etter fullført gymnas tjenestegjorde Fischer som soldat i Bundeswehr fra 1964 til 1966. Deretter studerte han jus ved Universitetet i Hamburg. Etter eksamen i 1978 jobbet han i Hamburg-selskapet Möller + Förster inntil 1986. Siden 1982 har han hatt bevilgning som advokat.