Шерф трижды назначался главным тренером мужской сборной Израиля. В первый раз он занял этот пост в 1984 году и оставался на нём три года. За это время сборная Израиля под его руководством дважды выходила в финальную часть чемпионата Европы и во второй раз за всю свою историю — в финальную часть чемпионата мира, где заняла седьмое место. Выступление на чемпионате Европы 1987 года, где команда заняла 11-е место, было признано неудовлетворительным, и Шерф на четыре года расстался со сборной.