કેરોલીન કેનેડી માત્ર ત્રણ વર્ષનો હતો જ્યારે તેના પિતાએ ઓફિસ ઓફ ઓથ લીધો અને કુટુંબ તેમના જ્યોર્જટાઉન ઘરમાંથી વ્હાઇટ હાઉસમાં ખસેડ્યું.