La contea è stata fondata nel 1848. Il suo nome deriva da Mathew Caldwell, un capitano dei ranger che partecipò alla Battaglia di Plum Creek, contro i Comanche e le truppe di Antonio López de Santa Anna, durante la Guerra d'indipendenza del Texas. Caldwell fu anche, il 2 marzo 1836, uno dei firmatari della Dichiarazione d'indipendenza del Texas. La contea è inoltre nota per la produzione di metanfetamine ed eroina.