Porażka konserwatystów w wyborach 2001 sprawił, że Howard powrócił do aktywnej działalności politycznej. Nowy lider konserwatystów, Iain Duncan Smith, powierzył mu stanowisko Kanclerza Skarbu w gabinecie cieni. Po usunięciu Smitha ze stanowiska lidera partii wybory w listopadzie 2003 wygrał Howard i stanął na czele gabinetu cieni. Uważany był za efektywniejszego lidera Opozycji niż jego poprzednicy. Często krytykował politykę gabinetu Tony’ego Blaira, zwłaszcza w kwestii zaangażowania Wielkiej Brytanii w Iraku.