Pocházel ze starého skotského rodu Ogilvy, byl synem barona Jiřího Benedikta Ogilvyho (1651–1710), maršála v císařských, ruských a polských službách. Po otcově vzoru vstoupil již v roce 1693 do armády, svou kariéru začal během devítileté války, v roce 1695 se stal také pážetem u dvora císaře Leopolda I. Vynikl během války o španělské dědictví v Itálii a Nizozemí a postupoval v hodnostech (major 1705, podplukovník 1710). Během volby Karla VI. římským císařem ve Frankfurtu nad Mohanem byl členem panovníkovy osobní stráže (1711). Poté se znovu aktivně zúčastnil bojů a v roce 1712 byl zraněn v bitvě u Denainu. Na konci války o španělské dědictví byl povýšen na plukovníka (1714) a poté se zúčastnil války proti Turkům. Jako velitel brigády se vyznamenal při obléhání Bělehradu (1717) a byl osobním účastníkem uzavření míru v Požarevaci (1718).