生于英国的桑德林汉姆府，他是丹麦的卡尔王子（后来的挪威国王哈康七世）和莫德公主（英王爱德华七世之女）之子。1929年3月21日, 他娶表姐瑞典玛塔公主为妻，生有一子两女， 哈拉尔、拉格茜尔公主和阿斯特丽公主。二战流亡时，太子妃玛塔和孩子们住在美国华府, 与美国总统富兰克林·罗斯福保持着良好的友谊，玛塔在丈夫即位前的1954年去世。奥拉夫五世曾获得1928年夏季奥林匹克运动会帆船比赛金牌，是获得过奥运金牌的两位国王之一，另一位为同样获得风帆比赛金牌的前希腊国王康斯坦丁二世。