Oher startet ti kamper som guard i sin første sesong for Ole Miss Rebels, og ble en freshman All-American på førstelaget. Etter å ha byttet posisjon til left tackle før 2006-sesongen ble han utpekt til forskjellige All-Conference og All-American-lag. Oher ble utpekt til Southeastern Conferences (SEC) andrelag som offensive lineman etter sin sophomore-sesong, og SECs førstelag som offensive lineman etter sin junior-sesong. Oher fant også suksess akademisk ved Ole Miss, med resultater på IQ-tester som var 20 til 30 poeng over resultatene hans da han ble målt i det offentlige skolesystemet i oppveksten og i college.