Olivier Remigius nació el 1 de octubre de 1742 dentro de una familia de emigrantes irlandeses. Durante el siglo XVII, las leyes introducidas en Irlanda limitaron, y finalmente eliminaron, la autoridad de la aristocracia católica, impidiendo que los católicos heredaran tierras, ocuparan cargos en el Parlamento y cargos públicos. Muchos emigraron a Europa Central y solicitaron servir en el ejército de Habsburgo. Un antepasado, Richard Wallis, o Walsh, como se le conocía en Irlanda, emigró con su familia en 1612 y fue coronel en el ejército de los Habsburgo. Fue asesinado en la batalla de Lützen en 1632. Otro antepasado de Oliver Remigius, George Olivier, Conde de Wallis (hijo de Richard), también sirvió en el ejército de los Habsburgo durante la Guerra de los Treinta Años bajo Wallenstein.