Nach der High School entschied sich Frye für eine Basketball-Stipendium an der University of Arizona. In vier Jahren auf dem College legte er im Schnitt 13,5 Punkte, 7,3 Rebounds und 1,9 Blocks pro Spiel auf, und erhielt zahlreiche individuelle Auszeichnungen, darunter eine Berufung in das Pac-10 All-Freshman Team nach seiner ersten Spielzeit und drei Berufungen in das All-Pac 10 Team in den Folgejahren. Nach seiner Zeit am College meldete sich Frye zum NBA-Draft 2005 und wurde an 8. Stelle von den New York Knicks ausgewählt.