Koch served as a lieutenant in the Grenadiers where he was unpopular with his fellow soldiers and was dismissed from the army in 1939 for insulting a superior officer.
Koch sempat menjabat sebagai letnan di Grenadiers; ia tidak disukai oleh rekan tentaranya dan dipulangkan pada tahun 1939 karena menghina seorang tentara atasan.