Il bisnonno di George Olivier, Richard Wallis of Carrickmines (Contea di Dublino), fu il primo ufficiale irlandese ad entrare in servizio nell'esercito austriaco già nel 1612 ed era colonnello nel 1632 quando morì a causa delle ferite riportate nella battaglia di Lützen.