Faren Walter Oliphant var (øverste juridisk offiser i middelalderens England og Skottland) av Lothian under styret til kong Alexander I av Skottland. Dette kontoret var egentlig tildelt hans stamfar, David de Olifand som var en soldat i kong Stephen av Englands hær, men som berget kong David I av Skottland under beleiringen av Winchester Castle i 1141 og gjorde det mulig for kongen å redde seg tilbake i sikkerhet i Skottland.