Вестхајмер је рођена као Карол Сигел 4. јуна 1928. године у Карлштату, у Немачкој, као једино дете православних Јевреја, Ирме (рођена Ханауер) и Јулиуса Сигела, који је био велетрговац и син породице за коју је Ирма радила. Отац јој је рано наметнуо јудаизам, који ју је редовно водио у синагогу у франкфуртском округу Норденд, где су живели. У јануару 1939. године мајка и бака послале су је у сиротиште јеврејске добротворне организације у месту Хајден у Швајцарској. Њен рани живот током холокауста обележио је њено време боравка у Швајцарској. Њеног оца нацисти су отели недељу дана након Кристалне ноћи, 1938. Њена мајка и бака одлучиле су да је Немачка преопасна због напетости и нацистичког насиља, па су је послали помоћу „Киндер Транспорт“-а, превоза којим су превозили јеврејску децу у Швајцарску. Она је са 11 година послата у сиротиште у Швајцарској, а млађој деци је преузела улогу неговатељице. Није јој било дозвољено да учи па се служила уџбеницима дечака из сиротишта.