Kennedy era propietario de una casa en el Kennedy Compound ubicado en Hyannis Port, Massachusetts en Cape Cod, pero residía principalmente en su casa en Virginia, conocida como "Hickory Hill", ubicada a las afueras de Washington D.