Joely es hija de la actriz Vanessa Redgrave y del director Tony Richardson, nieta de Sir Michael Redgrave y Rachel Kempson, hermana de la también actriz Natasha Richardson, medio hermana (por parte de madre) del cineasta Carlo Nero, cuñada del actor Liam Neeson, y sobrina de Lynn Redgrave (1943-2010) y Corin Redgrave.