命跨种族委员会监督肯塔基州公立学校的种族融合进程。1954至1955年，身为南方州长大会主席的韦瑟比拒绝在反对种族融合的声明上签字，唿吁其他南方州齐头并进，和平废除种族隔离。由于受到《肯塔基州宪法》的限制，韦瑟比不能连任州长，他和克莱门茨都支持伯特·T·康布斯继任，但康布斯在民主党初选中遭遇了韦瑟比和克莱门茨的政治宿敌、前州长A·B·“哈皮”·钱德勒，钱德勒当选后拒绝在1956年的选举中支持韦瑟比继任阿尔本·W·巴克利的联邦参议员席位，这成为韦瑟比不敌共和党候选人约翰·谢尔曼·库珀的重要原因。1964至