Graham County wurde am 26. Februar 1867 als Original-County aus freiem Territorium gebildet. Benannt wurde es nach John L. Graham, einem Offizier im Amerikanischen Bürgerkrieg, der bei der vom 19. bis 20. September 1963 andauernden Schlacht am Chickamauga gefallen war.