Fue nombrado presidente de la comisión de la Knesset para Asuntos Exteriores, y Ministro de Justicia (שר המשפטים), pero dimitió de su partido cuando en diciembre de 2004, Ariel Sharon aumentó las subvenciones a las instituciones haredíes para conseguir el apoyo de algunos pequeños partidos religiosos. A pesar de todo, apoyó a Sharon en marzo de 2005 a cambio de pequeñas concesiones financieras, tratando de evitar la convocatoria de elecciones anticipadas, ya que esto hubiese impedido la evacuación de los asentamientos israelíes de Gaza.