Caldwell al college giocò a football con i Louisiana–Monroe Warhawks dal 2012 al 2015. Fu scelto nel corso del quinto giro (173º assoluto) nel Draft NFL 2016 dai Cleveland Browns. Dopo avere iniziato la stagione nella squadra di allenamento, fu promosso nel roster attivo il 21 dicembre 2016, debuttando come professionista nel penultimo turno contro i San Diego Chargers, l'unica gara che i Browns vinsero quell'anno.