Joel empezó a salir con Nicole Richie poco después de haber roto con Hilary, en diciembre de 2006.