Díky vojenským úspěchům svého otce Ernsta Georga a zejména děda Oliviera, generálmajora a osobního komorníka císaře Leopolda I., měl mladý Georg Olivier otevřené dveře ke kariéře. V 16 letech přišel jako páže na vídeňský dvůr; o rok později už vstoupil do císařské armády. V roce 1697, již v hodnosti kapitána, bojoval pod Evženem Savojským ve vítězné bitvě u Zenty. Během války o španělské dědictví sloužil v severní Itálii a roku 1707 se účastnil dobytí Neapole. Do roku 1713 se účastnil bitev ve Španělsku. Na konci války dosáhl hodnosti polního podmaršála.