1737年10月5日（グレゴリオ暦）、ロシア帝国トヴェリ県Lyubiniで大ノヴゴロド総督の息子、グリゴリー・グリゴリエヴィチ・オルロフの弟として生まれた。に所属した後、七年戦争に参戦して頭角を現し、1758年のツォルンドルフの戦いで負傷、1762年までに下士官になった。背がかなり高く、頬に傷跡があると形容され、「瘢痕顔」（）というあだ名をつけられた。