Когато става на 5 г., заминава с майка си за Виена. Там до 14-годишна възраст учи в гимназията, където е учил и Фройд, като прекарва летните ваканции в България при баща си. След развода майката получава обратно австрийското си гражданство, докато на малкия Карл такова е отказано и той остава с българското си гражданство, предадено по бащина линия. След "аншлуса" на Австрия на 12 март 1938 г., майката решава да поиска американска виза, но квотите за австрийски граждани са изчерпани, защото много хора искат да напуснат страната, а евентуалното получаване на виза за семейството би отнело повече от година и половина. Гражданство на децата се давало по линия на бащата, а кандидатстването за виза било дълъг, скъп и трудоемък бюрократичен процес, като за виза се кандидатствало по месторождение. Налага се бащата бързо да се ожени отново за майка му около месец юли, за да може тя да получи отново българско гражданство и да замине за България през 1938, за да се измъкне от нацисткия режим. Семейството се разминава на косъм от погрома в Кристалната нощ, случил се няколко месеца по-късно.