Al juliol de 1957 va ser nomenat segon al comandament de les forces soviètiques a Alemanya, sent promogut a Coronel General a l'agost de 1958. A l'abril de 1960 va ser nomenat Grup de Forces Soviètiques a Alemanya Oriental, ocupant el càrrec quan esclatà la Crisi de Berlín de 1961, quan l'amenaça d'un conflicte bèl·lic a Europa augmentà fins a nivells dramàtics. Durant la crisi, a l'agost de 1961, Ivan Koniev, va ser promogut a Mariscal de la Unió Soviètica i nomenat temporalment comandant de les tropes a Alemanya, amb Iakubovski sent nomenat adjunt al comandant, mentre continuava dirigint les operacions diàries de les tropes. Després que a l'abril de 1962 la situació s'estabilitzés, el General d'Exèrcit Iakubovski tornà a comandar les tropes soviètiques a Alemanya, fins al gener de 1965, en què va ser nomenat comandant del Districte Militar de Kíev.