Golikov nasceu no seio de uma família camponesa em Borisova, na região de Perm. Seu pai serviu como enfermeiro-médico na guarnição em Tobolsk, e pai e filho se juntaram ao Partido Comunista em abril de 1918. Um mês depois, Golikov se alistou no Exército Vermelho como voluntário. Ele foi comissário político durante a maior parte da Guerra Civil Russa, e nos onze anos seguintes. Ele foi nomeado comandante de um regimento em 1931, e se formou na Academia Militar de Frunze em 1933. Em 1938, durante o Grande Expurgo, ele foi subitamente promovido a membro do Conselho Militar do Distrito Militar Bielorrusso, aparentemente encarregado de supervisionar o expurgo de comandantes do Exército Vermelho no distrito, incluindo o futuro herói de guerra Gueorgui Júkov, que nunca o perdoou. Mais tarde, em 1938, ele foi removido abruptamente e, em novembro de 1938, tornou-se comandante do Grupo de Exércitos Vinnitsa e, em 1939, do 6º Exército. Durante a invasão soviética da Polônia em 1939, ele foi encarregado de invadir e ocupar Lviv. Em 1940, ele serviu na Guerra de Inverno, contra a Finlândia.