El cantante dejó de cohabitar con Rita cuando le llegó la fama mundial, trasladándose a una mansión en Kingston, donde vivió con diversas amantes de clase media o alta -una de ellas llegó a convertirse en Miss Mundo- que despreciaban a la esposa por ser de color negro.