Arkhipov nasceu em uma família de camponeses em Orekhovo-Zuyevsky, perto de Moscou. Ele foi educado na Escola Naval do Pacífico e participou da Guerra Soviético-Japonesa em agosto de 1945, servindo a bordo de um caça-minas. Ele foi transferido para a Escola Naval do Mar Cáspio e formou-se em 1947.