W 1954 przyjął posadę asystenta trenera reprezentacji ZSRR, a w 1955 pierwszego trenera reprezentacji. Jako selekcjoner ZSRR zadebiutował 26 czerwca 1955 przeciwko Szwecji, wygranym aż 6:0. Podczas Igrzysk Olimpijskich 1956 w Melbourne poprowadził ZSRR do pierwszego w historii złotego medalu. Podczas Mistrzostw Świata 1958 dotarł do ćwierćfinału, w którym przegrał 0:2 z gospodarzem turnieju Szwecją. Pod koniec 1958 zakończył pracę z kadrą. Powrócił na stanowisko selekcjonera w maju 1960. W lipcu tego samego roku poprowadził ZSRR do zwycięstwa w pierwszych w historii Mistrzostwach Europy. W meczu finałowym ZSRR pokonał Jugosławię 1:0. Podczas Mistrzostw Świata 1962 ponownie doprowadził zespół do ćwierćfinału turnieju. Po tym turnieju zakończył pracę z kadrą ZSRR.