Golovko gikk inn i den sovjetiske flåten i 1925. I 1928 avsluttet han sjøoffisersskolen i Leningrad og ble deretter beordret til ulike poster i flåten. I 1937 og 1938 deltok han på republikansk side i den spanske borgerkrigen. Etter å ha vendt tilbake til Sovjetunionen begynte Golovko på sjøkrigsskolen. Golovko ble i juli 1940 sjef for Nordflåten, en post han besatte til august 1946.