Thomas Keller war ein Sohn des Redaktors und Autors Hans Wilhelm Keller (1897–1980). Er wuchs im Umfeld der Anthroposophen in Dornach auf. Sein Vater schrieb in dieser Zeit ein Essay über die «Individualität», während seine Mutter, eine Adlige aus Schaffhausen, am Goetheanum Eurythmie studierte. Als sein Vater 1933 eine Anstellung als Redaktor bei der Schweizerischen Depeschenagentur unter Ferdinand Kugler annahm, zog die Familie nach Basel. Kugler beobachtete und berichtete 1933 kritisch über den Reichstagsbrandprozess und war im «Basler Widerstand» tätig.