Nachdem Harris auf Collegeniveau vier Jahre an der University of Virginia gespielt hatte, wurde er im NBA-Draft 2014 von den Cleveland Cavaliers an 33. Stelle ausgewählt. Harris sah jedoch bei den starkbesetzten Cavaliers wenig Spielzeit, so dass er oft in die D-League zu den Canton Charge ausgeliehen wurde. Während er in seiner Rookiesaison noch 51 Saisonspiele bestritten hatte, absolvierte er im Jahr darauf nur noch 5 Saisonspiele, nachdem er im Januar 2016 eine schwere Fußverletzung erlitten hatte und von den Cavaliers an die Orlando Magic abgegeben wurde, die ihn sofort wieder entließen.