Cuando Duncan Smith fue elegido líder, Portillo regresó a los escaños de segundo plano. En marzo de 2003, votó a favor de la invasión de Irak en 2003. En noviembre de 2003, rechazó una oferta de un puesto en el Gabinete en la sombra del líder conservador entrante Michael Howard. No buscó la reelección en las elecciones generales de 2005. Su membresía en el Partido Conservador ha caducado desde entonces.