3年11月被罢免，迈克尔·霍华德取而代之；霍华德认为约翰逊是最受欢迎的保守党政客和民选官员，任命他为保守党副主席，负责监督党的竞选活动。在2004年5月的影子内阁改组中，霍华德又任命约翰逊兼任影子艺术副大臣一职。2004年8月，约翰逊是支持对首相托尼·布莱尔开始的几个议员之一，这是对布莱尔在2003年入侵伊拉克的作用提出“”指控的运动。但是弹劾运动很快就失败了。2004年10月，霍华德命令约翰逊前往利物浦，对记者西蒙·赫弗匿名撰写并发表在《旁观者》杂志上的一篇文章公开道歉；这篇文章说，希尔斯堡惨案对于利