El padre de Olmert, Mordechai, considerado un pionero de los asentamientos en la Tierra de Israel, fue un ex miembro de la segunda y tercera Knessets, creció en la ciudad china de Harbin, donde lideró el movimiento juvenil local de Betar.