Cohen gikk inn i rikspolitikken i 1996 da han ble valgt inn i Knesset. I juni 1999 ble han minister for religiøse anliggender, men trakk seg selv fra posten i juli året etter. Fra mai 2001 til februar 2003 var han visefinansminister.