Był synem oficera armii bawarskiej. Uczęszczał do szkoły podstawowej, a następnie do Wittelsbacher-Gymnasium w Monachium, którą ukończył w 1926 roku. Będąc jeszcze uczniem, Raithel (nie był jeszcze członkiem NSDAP) wziął udział w puczu monachijskim. Z czasem został za to odznaczony prestiżowym Orderem Krwi. Był żonaty i miał dwie córki.