Koch s-a distins ca elev excelent la liceul South Side din Newark (azi liceul „Malcolm X Shabazz”), iar în anii 1941-1943 a studiat la City College. Apoi s-a înrolat în forțele de infanterie și a participat în cadrul diviziei 104 de rezerviști, la cel de-al Doilea Război Mondial. Divizia sa a debarcat în septembrie 1944 la Cherbourg în Franța. În cursul luptelor la care a luat parte, (între altele în pădurea Hürtgen și în timpul ofensivei germane in Ardeni) Koch a fost distins cu trei stele și cu distincția infanteristului combatant. În 1946 a fost trimis la vatră cu gradul de sergent.