唯一能带领保守党赢得大选的候选人，但最终伊恩·邓肯·史密斯当选。约翰逊与邓肯·史密斯关系紧张，《旁观者》对后者的领袖任期大力批评。邓肯·史密斯在2003年11月被罢免，迈克尔·霍华德取而代之；霍华德认为约翰逊是最受欢迎的保守党政客和民选官员，任命他为保守党副主席，负责监督党的竞选活动。在2004年5月的影子内阁改组中，霍华德又任命约翰逊兼任影子艺术副大臣一职。2004年8月，约翰逊是支持对首相托尼·布莱尔开始的几个议员之一，这是对布莱尔在2003年入侵伊拉克的作用提出“”指控的运动。但是弹劾运动很快就失