En 1978, il est élu au Sénat des États-Unis, succédant au démocrate James Eastland. Il devient alors le premier républicain élu au Sénat depuis la fin de la période de Reconstruction (1877) au Mississippi. Eastland démissionne de son mandat une semaine avant sa fin afin que le gouverneur puisse permettre à Cochran de prendre ses fonctions en avance en le nommant pour finir le mandat et ainsi gagner en séniorité par rapport aux autres sénateurs nouvellement élus. Il est réélu en 1984 contre le gouverneur de l'État, , en 1990, en 1996 (avec plus de 70 % des voix) et en 2002.