Après avoir obtenu son diplôme à la Rice High School en 2008, il a joué au basket-ball universitaire pour les Huskies du Connecticut. Au cours de la saison 2010-2011, Walker est le deuxième meilleur marqueur du pays et est nommé First Team All-American. Il a également mené les Huskies au titre de la NCAA en 2011 et remporte le titre de meilleur joueur du tournoi. Ses performances avec les Hornets lui permettent d'être sélectionné au NBA All-Star Game à trois reprises en 2017, 2018 et 2019, ainsi qu'avec les Celtics de Boston en 2020.