Withey spielte vier Jahre für die University of Kansas. Zuvor war er an der University of Arizona eingeschrieben, spielte jedoch kein Spiel für die Universitätsmannschaft. Nach seiner Collegekarriere wurde er bei der NBA-Draft 2013 von den Portland Trail Blazers ausgewählt und kurz darauf zu den New Orleans Pelicans verkauft. In New Orleans kam Withey in zwei Jahren auf 3,0 Punkte 2,3 Rebounds und 0,7 Blocks im Schnitt.