Irving annonce sa décision de jouer pour les Blue Devils de l'université Duke le lors d'une émission sur ESPN-U. Sous la direction de l'entraîneur Mike Krzyzewski, il commence la saison 2010-2011 avec des statistiques de 17,4 points — meilleur marqueur de son équipe —, 3,8 rebonds, 5,1 passes et 1,5 interception avec 53,2 % aux tirs pendant ses huit matches de saison régulière. Mais, lors de son huitième match, il se déchire un ligament de son orteil droit, ce qui le prive de presque la totalité de la saison. Il fait son retour sur le banc lors du tournoi NCAA, avec un temps de jeu limité. Duke termine finalement sa saison sur une défaite 93 à 77 face aux Wildcats de l'Arizona où évolue un autre prétendant aux premières places de la draft de 2011, Derrick Williams. Ce dernier inscrit 35 points lors de ce - huitième de finale ou aussi appelé demi-finales régionales - tandis que Irving inscrit 28 points, à 9 sur 15 aux tirs, et délivre 3 passes en 31 minutes.