Golikov opiskeli Kamyšlovin kymnaasissa vuoteen 1918, jolloin hän liittyi kommunistiseen puolueeseen ja puna-armeijaan. Hän osallistui Venäjän sisällissotaan sotilaana, agitaattorina ja poliittisena ohjaajana. Hän oli vuosina 1922–1926 agitaatiotehtävissä Länsi-Siperiassa ja sen jälkeen eri sotilaspiirien agitprop-johtajana. Golikov valmistui sotakoulusta vuonna 1931 ja Frunzen sotilasakatemiasta vuonna 1933. Hän oli 1931–1933 rykmentin, 1933–1936 divisioonan, 1936–1937 prikaatin, 1937–1938 armeijakunnan ja 1938–1939 Vinnitsan armeijaryhmän komentajana. Hän komensi syyskuusta 1939 heinäkuuhun 1940 Neuvostoliiton 6. armeijaa, joka osallistui hyökkäykseen Puolaan.