V den dallaského atentátu na otce Johna F. Kennedyho, 22. listopadu 1963, je s bratrem chůva Maud Shawová odvezla z Bílého domu k babičce z matčiny strany Janet Lee Bouvierové, která na ni naléhala, aby vnučce sdělila zprávu o úmrtí. Večer se děti vrátily do Bílého domu a během ukládání Caroline ji Shawová oznámila danou skutečnost. Sama Jacqueline Kennedyová však měla v úmyslu seznámit děti s úmrtím otce, což vyvolalo její rozkol s chůvou. Z prezidentského sídla se s matkou přestěhovali zpět do Georgetownu. Jejich domov se nedlouho poté stal turistickou atrakcí, což vedlo roku 1964 k opuštění Washingtonu a zabydlení se v ateliérovém bytu na Fifth Avenue manhattanského Upper East Side.