William I of the Netherlands
Adrien d'Oultremont est le fils du comte Joseph-Ferdinand d'Oultremont, chambellan de son beau-frère Guillaume Ier des Pays-Bas (qui avait épousé sa sœur Henriette d'Oultremont en secondes noces), et d'Isabelle Bonham (sœur du gouverneur George Bonham). Il est notamment le frère d'Émile d'Oultremont, du général Théodore d'Oultremont et de John d'Oultremont.