奥利弗一生酷爱喝酒与打架。1963年，他因在酒吧打架而致使脸部被砍伤，当时被缝了36针。1973年，因出演《三个火枪手》（The Three Musketeers）中风车决斗的镜头而几乎重伤至死。1999年，奥利弗在拍摄电影《角斗士》期间，在马耳他首都瓦莱塔的一个酒吧因心脏病突发而逝世。此前他在酒吧一个人喝了3瓶牙买加朗姆酒、8瓶德国啤酒以及无数杯威士忌。由于当时《角斗士》一片还未杀青，因此电影中部分有他演出的场景不得不重新制作。为此制作方耗费了300万美元制作了奥利弗的三维面部数据。