Nach seiner Sportlerkarriere wurde Klein Trainer. Ab 1964 betreute er Israels U21-Basketballnationalmannschaft. Insbesondere in der Anfangszeit seiner Trainerlaufbahn weilte er mehrmals in den USA, um seine Basketballkenntnisse zu erweitern. 1968 brachte er die israelische U21-Auswahl auf den siebten Platz bei der Jugend-Europameisterschaft. Ein Jahr später wurde er Trainer seines Heimatklubs Maccabi Tel Aviv und etablierte die Mannschaft als eine der stärksten in Europa. Maccabi monopolisierte praktisch die israelischen Meisterschafts- und Pokalwettbewerbe und holte zwischen 1970 und 1983 alle 14 Meisterschaften sowie zwölf Pokale: einmal verlor man gegen Hapoel Gevat, und einmal wurde der Pokal wegen des Jom-Kippur-Krieges abgesagt. Klein war Trainer der legendären Mannschaft der Saison 1976/1977, die mit Stars wie Tal Brody und Miki Berkovich als erster israelischer Vertreter den Europapokal der Landesmeister gewann. In einem packenden Endspiel wurde Mobilgirgi Varese 78:77 in der Aleksandar-Nikolić-Halle in Jugoslawien bezwungen, und Berkovich nannte diesen Sieg so wichtig für Israel wie das Wunder von Bern für Deutschland. Nach dem Erfolg beim Europapokal 1977 übernahm Klein zusätzlich die israelische Nationalmannschaft und führte sie zwei Jahre später ins Finale der Europameisterschaft und gewann die Silbermedaille. 1981 und 1983 wurde das Team noch zweimal Sechster.