市议员，拉开从政生涯序幕，接下来又进入宾夕法尼亚州参议院。南北战争期间，兰德尔在北军骑兵队服役，于1862年当选联邦众议员，此后一直连任直至去世。作为工业州的代表，兰德尔以坚定捍卫旨在帮助国内制造行业对抗国际竞争的保护性关税着称。虽然在关税问题上经常同共和党人站在一边，但他也像其他大部分民主党议员一样反对重建法案和联邦权力的扩张。兰德尔坚持缩减中央政府规模、减少集权，在众议院的民主党人中崭露头角，于1876年当选议长，并且一直任职到1881年共和党重夺众议院多数时止。1880和1884年，兰德尔两次加入