Aleksej var av den adelige Orlov-slekten i Ljubini vær Tver, og var sønn av Grigorij Ivanovitsj Orlov, guvernør av Novgorod, og bror til Grigorij Grigorjevitsj Orlov. Han begynte i Preobrazjenski-regimentet og var i 1762 blitt sersjant. Han utmerket seg i Syvårskrigen og ble såret under slaget ved Zorndorf. Han ble beskrevet som en kjempe av en mann, over to meter høy, og dyktig duellant, med et arr på kinnet. Han ble derfor kali .