Em 7 de Agosto de 2005, Olmert foi empossado como ministro de Finanças, substituindo Benjamin Netanyahu, que tinha renunciado ao cargo em protesto contra o Plano de retirada unilateral de Israel. Olmert, que se opôs inicialmente a qualquer retirada das terras ocupadas na Guerra dos Seis Dias, e que votou contra os Acordos de Paz de Camp David em 1978, passou a apoiar a retirada de Gaza. "Eu votei contra Menachem Begin" disse Olmert após a sua nomeação. "Eu disse a ele que era um erro histórico, quão perigoso seria, e assim por diante. Agora lamento que ele não esteja vivo para que eu possa reconhecer publicamente sua sabedoria e meu erro. Ele estava certo e eu estava errado. Graças a Deus que nos retirámos do Sinai".