Aleksej Orlov var bror til Grigorij Orlov, Katarinas elsker, og Fjodor Orlov, som også deltok i Den russisk-tyrkiske krig (1768-1774). Etter at Orlov pensjonerte seg fra militæret og bosatte seg i Moskva viet han seg til avl av kylling, og av hesterasen som ble kjent som orlovtraver. Da tsar Paul I overtok etter Katarina i 1796, forlot Orlov landet, men han kom tilbake etter at Paul døde i 1801 og ble boende der til sin død i 1808.