Calder vokste opp i en kunstnerfamilie hvor moren var malerinne og faren skulptør, og han ble tidlig oppmuntret til selv å lage ting. Som gutt hadde han sitt eget verksted hvor han laget leker til seg selv og søsteren. Calder ble svært interessert i mekanikk, og utdannet seg til å bli ingeniør. Det var ikke før han var ferdig med denne utdannelsen at han for alvor begynte å interessere seg for kunst, og ble student ved en kunstskole i New York. Etter dette laget han miniatyrsirkus med små motoriserte mekaniske dukker som gjorde ham kjent i kunstnermiljøet.