国会中来自南部和西部的民主党议员更多，其中很多都是对兰德尔来说颇感面生的新人。在这样的背景下，兰德尔回归议长位置就不再显得顺理成章，许多议员提出其他人选。兰德尔这时又患上痛风，无法有效争夺选票，令情况雪上加霜。最终，以倡导关税改革着称的肯塔基州议员约翰·G·卡莱尔以104票轻取仅获53票支持的兰德尔夺得议长席位。卡莱尔安排同样倡导关税改革的威廉·罗尔斯·莫里森（）领导筹款委员会，但还是让兰德尔继续执掌拨款委员会。在莫里斯的引领下，筹款委员会提出法案，建议将关税降低20%，兰德尔则从一开始就和共和党人一起