Plumlee spielte drei Jahre in der NCAA für die Duke University, mit der er 2010 die NCAA Division I Basketball Championship gewann. Bei der NBA-Draft 2012 wurde er von den Indiana Pacers an 26. Stelle gedraftet. Er spielte jedoch einen Großteil seiner Rookiesaison beim Farmteam der Pacers, den Fort Wayne Mad Ants. Für die Pacers absolvierte er nur 14 Spiele und erzielte dabei 0,9 Punkte und 1,6 Rebounds.