Il commence sa carrière en tant que conseiller juridique du comité judiciaire du Sénat des États-Unis, au nom du sénateur démocrate Howell Heflin, élu en Alabama. Jones est ensuite procureur assistant des États-Unis dans le district nord de l'Alabama de 1980 à 1984 puis travaille en tant qu'avocat dans le privé à Birmingham, de 1984 à 1997. En 1997, il est nommé procureur des États-Unis pour le district du nord de l'Alabama, basé à Birmingham. À ce poste, il poursuit et obtient la condamnation des auteurs de l'attentat de l'église baptiste de la, une attaque du Ku Klux Klan tuant quatre filles noires en 1963.