票之差险胜瓦格纳，当选进步保守党党魁，兼任加拿大官方反对党领袖。当时克拉克在国内知名度不高；他当选党魁翌日《多伦多星报》头条称他为「乔谁？」（），与政治魅力甚浓的总理和自由党党魁杜鲁多比较下他更相形见绌。纵虽如此，克拉克着手整顿党内架构，以求平息自迪芬贝克年代已现的党内争斗。他引入行政党团会议，以便定出策略在下议院内集中攻击自由党施政。1977年下议院辩论时段引入电视转播，亦让观众见识克拉克质询杜鲁多时的强硬作风，评论有指克拉克的表现偶然更胜杜鲁多。进步保守党于1977年11月进行党魁检讨，克拉克获党员