父アレクサンダー・スターリング・カルダーは高名な彫刻家で、スコットランド生まれの祖父アレクサンダー・ミルン・カルダーも彫刻家であった。
考尔德出生于美国宾西法尼亚州劳顿的雕塑世家，祖父亚历山大·米尔恩·考尔德（AlexanderMilneCalder）、父亲亚历山大·斯特林·考尔德（AlexanderStirlingCalder）皆为知名雕塑家。