Fannin County wurde am 14. Dezember 1837 aus Teilen des Red River County gebildet. Benannt wurde es nach dem aus Georgia stammenden James Fannin (1805–1836), der im Texanischen Unabhängigkeitskrieg diente und sich durch seinen Einsatz im Gefecht bei Concepción 1835 Ruhm erwarb. Er wurde im Jahr darauf beim Massaker von Goliad gefangen genommen und anschließend hingerichtet.