Oliver Remigius naît le au sein d'une famille d'émigrés irlandais installée dans l'empire des Habsbourg. Au cours du siècle, des lois introduites en Irlande ont limité, et parfois même supprimé, la possibilité pour l'aristocratie catholique d'hériter de biens fonciers, de siéger au Parlement ou d'exercer un office. Beaucoup d'Irlandais décident alors de quitter leur patrie pour venir s'installer en Europe centrale et se mettre au service des Habsbourg. L'un des ancêtres d'Oliver, Richard Wallis (ou Walsh, son patronyme d'origine), a émigré avec sa famille en 1612 et est devenu colonel dans l'armée des Habsbourg. Il est tué à la bataille de Lützen en 1632. Un autre descendant, George Olivier de Wallis, le fils de Richard, a également fait carrière dans l'armée autrichienne et a servi sous Wallenstein pendant la guerre de Trente Ans.