间担任塔斯卡卢萨市检察官的时期开始投入政治。在1966年至1970年间他担任阿拉巴马州北部辖区的美国地方法官；并在1969年至1971年间担任阿拉巴马州最高检察官的特别助理之一。谢尔比在1970年成为了阿拉巴马州州参议院的议员，并一直任职直到他当选众议院的阿拉巴马州第七辖区众议员为止。在那之后他还连任了三次众议员。
参议员生涯.在1986年谢尔比获得民主党提名，角逐原本由共和党籍的佔据的参议员职位，当时耶利米·丹顿是阿拉巴马州自美国内战重建时期之后第一位共和党籍的参议员。谢尔比