Alexei nasceu em Lyubini in Tver Oblast, na família nobre dos Orlov, a 5 de Setembro de 1737, sendo filho de Gregório Ivanovich Orlov, governador de Novgorod, e irmão de Gregório Grigoryevich Orlov. Entrou no Regimento Preobrazhensky e, em 1762, tinha já chegado à posição de sargento. Distinguiu-se durante a Guerra dos Sete Anos, onde foi ferido na Batalha de Zorndorf. As descrições dizem que era um homem gigante, com mais de dois metros de altura, e um duelista de talento, uma actividade que lhe valeu uma cicatriz permanente na bochecha. Esta cicatriz fez com que recebesse a alcunha de 'cara de cicatriz'.