Ogilvy var sønn av George Jacob Ogilvy, kommandant over Brünns Festung Spielberg (tsjekkisk ). Han begynte sin militære løpebane i den russiske armeen, hvor han ble general i 1702. Den 3. desember 1706 trådte han inn i den kursaksiske tjenesten som feltmarskalk og president for det indre krigsrådskollegiet.