Duchy of Brabant
オルレイの家系はもともとルクセンブルクの出身で、オルレイの封建領主の子孫にあたり、その傍系家系がブラバント公国へ移住した。ブラバント公国でベルナールトの父ヴァレンティン・ファン・オルレイ（1466年ごろ - 1532年）が生まれたが非嫡出であり、貴族としての血統を受け継ぐことはできなかった。ベルナールトと、同じく後に画家となった弟のエヴェラルドはどちらもブリュッセルで生まれている。