તે છ ભાઈબહેનોનો મધ્યમ પુત્ર હતો અને ગ્રીનવિચમાં બેલે હેવનના ગેટ્ડ શ્રીમંત સમુદાયના વિશાળ ઘરમાં ઉછર્યા હતા, કોન રશટન સ્કકેલ સન, એથલ સ્કકેલ કેનેડીનો ભાઈ, જે રોબર્ટ એફ. કેનેડી સાથે લગ્ન કર્યા હતા .