Ван Хавер је рођен и одрастао у Етербеку, предграђу Брисела, у мешовитој руандско-белгијској породици. Његов отац Пјер Рутар, архитект по занимању, због посла је углавном био одсутан током његовог детињства, а страдао је 1994. као једна од жртава Геноцида у Руанди када је боравио у Руанди у посети породици.