兰德尔的同时参选”的建议，结果双双落败。1861年，南方有11个州宣布脱离联邦，并组建美利坚联盟国，内战随即爆发，兰德尔于这年5月成为费城市骑兵队第一分队列兵。兰德尔的服役时间只有90天，并且也没有参与过实战，部队这段时间驻扎在宾夕法尼亚州中部和弗吉尼亚州东部。1863年，他再度加入这支部队并当选上尉。这年夏天的盖茨堡战役期间，第一分队被派往宾夕法尼亚州中部，罗伯特·李将军正于此时率领南军将士侵入宾夕法尼亚州。盖茨堡之役前一天，他在盖茨堡担任宪兵司令，大战当天又在兰开斯特县的哥伦比亚（）担任同一职务，但