С июля 1957 года — 1-й заместитель Главнокомандующего Группы советских войск в Германии. В апреле 1960 года назначен Главнокомандующим Группы советских войск в Германии. В разгар Берлинского кризиса, когда резко обострилась угроза вооружённого конфликта в Европе, Главнокомандующим Группы советских войск в Германии был назначен Маршал Советского Союза И. С. Конев (август 1961 года), а Якубовский был переведён на должность его первого заместителя, при этом продолжая руководить повседневной деятельностью ГСВГ. После стабилизации обстановки в апреле 1962 года Якубовский вновь возвращён на должность Главнокомандующего Группы советских войск в Германии. Единственный из военачальников, кто занимал должность Главкома ГСВГ дважды.