Han var sønn av Grigorij Ivanovitsj Orlov, som var guvernør i Novgorod, og hans hustru Ljukeria Ivanovna Zinowiev (Лукерья Ивановна Зиновьева), og bror til Aleksej Grigorjevitsj Orlov.