Stoiber er katolsk, siden 1968 gift med Karin, og har tre barn. Han bor i Wolfratshausen i Oberbayern.