Ralph Klein commence sa carrière d'entraîneur en 1964. En 1969, il devient entraîneur du Maccabi Tel Aviv, avec qui il gagne de champion d'Israël et la coupe d'Europe des clubs champions en 1977. Il devient par la suite sélectionneur de l'équipe nationale d'Israël, remportant une médaille d'argent au championnat d'Europe 1979 et une sixième place lors du championnat d'Europe 1981 et 1983. En 1983, il prend la tête de l'équipe d'Allemagne de l'Ouest et du BSC Saturn Cologne, jusqu'en 1985.