Clifford begann das Basketballspiel an der "Bridgewater-Raynham Regional High School" in seiner Heimatstadt Bridgewater. Dort wurde er bereits in seinem ersten Jahr zum All-Star der "Old Colony League" gekürt und im zweiten Jahr zum wertvollsten Spieler der Liga gewählt. Anschließend besuchte er das Boston College, wo er sich mit Patrick Heckmann ein Zimmer teilte. Trotz einiger Verletzungen wurde er als Sophomore zum Mannschaftskapitän ernannt. 2016 meldete er sich zum NBA Draft an, wurde jedoch nicht gedraftet. Stattdessen wechselte er trotz eines Angebots aus der griechischen Basket League nach einem "local try-out" zu den Santa Cruz Warriors, dem Farmteam der Golden State Warriors, in die NBA G-League. Entgegen der Erwartung mancher Experten spielte er eine gute Saison und wurde in das All-Star-Team der Liga gewählt. Obwohl ihm sogar die Qualität zugesprochen wurde, den Sprung in die NBA schaffen zu können, gab der deutsche Bundesligist Alba Berlin zu Beginn der Saison &lt;a href="Basketball-Bundesliga%202017/18"&gt;2017/18&lt;/a&gt; die Verpflichtung Cliffords bekannt. Er wurde in jedem Hauptrunden- und Playoffspiel in der Bundesliga und im EuroCup eingesetzt und galt als emotionaler Führer des Teams. Im Juli 2018 gab der Verein die Verlängerung seines Vertrags um ein weiteres Jahr bekannt.