На выборах 2003 года был вторым в списке партии Авода, но потерял должность министра, так как сформированная Шароном правящая коалиция не включала партию Авода. Тем не менее после того, как несколько партий покинули коалицию из-за разногласий по плану одностороннего размежевания, Авода вошла в коалицию в 2005. Вильнаи сначала стал министром в офисе премьер-министра, но в августе стал исполняющим обязанности министра науки и технологии, а в ноябре — министром.