Tháng 7 năm 1957, ông trở thành Phó Tư lệnh thứ nhất của Cụm binh đoàn Liên Xô tại Đức, sau đó được thăng Thượng tướng vào ngày 18 tháng 8 năm 1958. Tháng 4 năm 1960, ông được bổ nhiệm làm Tư lệnh Cụm binh đoàn Liên Xô tại Đức, đang ở trong cuộc Khủng hoảng Berlin 1961, khi mối đe dọa xung đột vũ trang ở châu Âu leo thang đột ngột. Trong cuộc khủng hoảng, vào tháng 8 năm 1961, Ivan Konev, Tổng Tư lệnh Lực lượng Liên Xô tại Đức, được thăng hàm Nguyên soái Liên Xô và Yakubovsky được chuyển sang chức vụ Phó tổng Tư lệnh thứ nhất, trong khi tiếp tục quản lý các hoạt động hàng ngày của Cụm binh đoàn Liên Xô tại Đức. Sau khi ổn định tình hình vào tháng 4 năm 1962, tướng Yakubovsky một lần nữa trở lại chức vụ Tư lệnh Cụm binh đoàn Liên Xô tại Đức. Tháng 1 năm 1965, ông trở thành Tư lệnh Quân khu Kiev.