支持立法缩减银行的权力，并且在他整个职业生涯中始终倡导这一目标。1860年，他竞选连任州参议员，弟弟罗伯特则出马竞选州众议员。两人都没有听从父亲“不要有太多个姓兰德尔的同时参选”的建议，结果双双落败。1861年，南方有11个州宣布脱离联邦，并组建美利坚联盟国，内战随即爆发，兰德尔于这年5月成为费城市骑兵队第一分队列兵。兰德尔的服役时间只有90天，并且也没有参与过实战，部队这段时间驻扎在宾夕法尼亚州中部和弗吉尼亚州东部。1863年，他再度加入这支部队并当选上尉。这年夏天的盖茨堡战役期间，第一分队被派往宾夕