Etter å ha tjent i United States Marine Corps i tre år—han spilte også for El Toro Marines og hadde omtrent 1 000 yards i hver av de to årene han var stasjonert på El Toro Marine Air Corps Station—spilte Carmichael ett år med college football på Santa Ana Junior College. Han løp for 1 110 yards med 19 touchdowns og ble erklært Little All-American og spilte i Junior Rose Bowl. Carmichael spilte deretter på University of Southern California (USC). Hvor han som sophomore ledet laget på løp og som senior ledet på kick returns. På USC scoret han en kampvinnende touchdown på Rose Bowl 1953 mot Wisconsin Badgers da han tok imot en pasning fra reservequarterback Rudy Bukich i tredje kvarter som sørget for kampens eneste poeng.