Als Sohn des Bildhauers Wilhelm Rex (1870–1944) erlebt Hartlib Rex im Kindesalter die bedrückende Atmosphäre der NS-Zeit, den Feuersturm auf Hamburg, Flucht in den Bayerischen Wald und beengende Lebensverhältnisse. Die Familie lebte vom Einkommen und der Tatkraft der Mutter, die Lehrerin war. Die 5 Jahre ältere musikbegabte Schwester, Renate Rex, wurde Pianistin, später Organistin.