Ainda teve uma passagem pela Seleção Israelense, entre 1992 e 1999. Sob o comando de Scharf, o estado judeu conseguiu a filiação à UEFA, jogando as eliminatórias das Copas de 1994 (onde conquistou uma surpreendente vitória sobre a França, que prejudicou os "Bleus" na tentativa de classificar-se para o Mundial dos Estados Unidos) e 1998 e das Eurocopas de 1996 e 2000 - porém, Israel não conseguiu a vaga em nenhum dos 4 torneios. Outra vitória bastante lembrada foi a goleada por 5 a 0 sobre a Áustria, em Haifa.