ডায়ানার বাকি যে ক’জন প্রেমিকের কথা জানা যায় (জেমস হেউইট, জেমস গিলবে, উইল কার্লিং, হাসনাত খান এবং ডোডি আল ফায়েদ) তার মধ্যে অলিভারকেই সব চেয়ে সৌম্য দর্শন বলে মনে করা হত। নব্বইয়ের দশকের গোড়ার দিকে ডায়ানা-অলিভারের সম্পর্ক নিয়ে হইচই শুরু হলেও প্রেমিকপ্রবর কখনও তা স্বীকার করেননি।