Второй сын новгородского губернатора Григория Ивановича Орлова (1685—1746) и его жены Лукерьи Ивановны Зиновьевой. Родился года в родовой усадьбе Орловых в селе Люткино. Детство его прошло в Москве. Начальное образование получил дома. В 1749 году, 15-летним, записан в лейб-гвардии Семёновский полк рядовым. В 1757 году переведён офицером в армию и принял участие в Семилетней войне. В сражении при Цорндорфе получил три ранения, но не покинул поле боя. Это сделало его весьма популярным в офицерской среде. В 1759 году переведён на службу в столицу в один из артиллерийских полков.