La Jolla
父リチャードはカールソンが小学校1年生の時にカリフォルニア州ラホヤに移り住み、2人の兄弟を育てた。ラホヤでカールソンはラホヤ・カントリー・デイ・スクールに通い、ラホヤ・ビーチとラホヤ・テニス・クラブを見下ろす家で育った。父リチャードはバーモント州、ネバダ州、メイン州と、ノバスコシア州の島々に不動産を所有していた。