Så gikk han videre med gradsstudier ved University of Michigan i Ann Arbor, Michigan. Mens han var i Michigan, vant han en Hopwood Award og han fikk sin MA i engelsk litteratur i 1951. Denne høsten flyttet O’Hara til en leilighet i New York City sammen med Joe LeSueur, som skulle bli hans romkamerat og iblant hans elsker de neste 11 årene. Det var i New York City at han begynte å undervise ved The New School.