Durante el segundo término como primer ministro de Ariel Sharón, Ólmert fue considerado como su mano derecha. Fue un vivo defensor de las políticas gubernamentales y el más importante aliado de Sharon durante el Plan de retirada unilateral israelí de septiembre de 2005. Cuando Sharon anunció su salida del Likud y la formación de un nuevo partido, Kadima, Olmert fue uno de los primeros en aliarse con él.