和高失业率，使卡拉汉政府声望急挫。国会遂于1979年3月28日通过了对卡拉汉的不信任动议，从而举行了1979年大选，最终卡拉汉败于保守党的戴卓尔夫人，结束了工党的执政。
早年生涯.卡拉汉的父亲是一位英国皇家海军军士长，家族具有爱尔兰人血统，父亲在他9岁时逝世。卡拉汉早年入读北朴次茅斯文法学校（Portsmouth Northern Grammar School ，即今日的梅菲尔德学校，英文为Mayfield School），16岁时他便开始工作，于税务局任职文员，后来更获擢升为税务