乏处理经济事务的经验，亦沦为工党主要攻击目标。有次工党党魁兼反对党领袖韦尔逊在下院嘲笑休姆是「第十四代休姆伯爵」，难以代表一般百姓时，他随即幽默地回应道：「我相信韦尔逊先生是第十四代韦尔逊先生吧！」其实，保守党自1951年起接连执政以来，一直未能改善经济，国力持续衰弱，先前又备受不同丑闻困扰，再加上人民求变深切，以致道格拉斯-休姆爵士上任首相的时候，保守党民望已被工党抛离，工党逐渐主导议会大局，情势难以扭转。同时间，由于保守党政府自1959年以来未曾举行大选，根据规例，休姆迫于无奈下，于1964年10月