Etter andre verdenskrig fikk Golovko nye oppgaver. Fra 1947 til 1952 tjenestegjorde han i marinestaben. Han var sjef for den den fjerde flåten i Østersjøen fra 1952 til 1956. Fra januar til november 1956 var han sjef for Østersjøflåten. Deretter var Golovko til 1962 første nestøverstkommanderende for den sovjetiske flåten.