他娶表姐瑞典玛塔公主为妻，生有一子两女， 哈拉尔、拉格茜尔公主和阿斯特丽公主。二战流亡时，太子妃玛塔和孩子们住在美国华府, 与美国总统富兰克林·罗斯福保持着良好的友谊，玛塔在丈夫即位前的1954年去世。奥拉夫五世曾获得1928年夏季奥林匹克运动会帆船比赛金牌，是获得过奥运金牌的两位国王之一，另一位为同样获得风帆比赛金牌的前希腊国王康斯坦丁二世。