Krah er født i Räckelwitz, nær Bautzen, i daværende DDR (Øst-Tyskland). Han er oppvokst i Dresden, og etter å ha gjennomført verneplikt avla han juridisk embetseksamen ved Dresdens tekniske universitet. Han er far til åtte barn.