Duff tuvo una relación tempestuosa con la actriz Ava Gardner a finales de la década de 1940.