Charles Gardès, som var hans navn på den tiden, kom med sin mor til Argentina i 1893 som fireåring. Han vokste opp i Abasto, bydelen Balvanera, Buenos Aires og fikk tidlig tilnavnet «El Morocho del Abasto» (Den mørke fra Abasto). Etterhvert som han ble berømt fikk han mange andre tilnavn, som «Carlitos», «El Zorzal Criollo», «El Mago» (magikeren), «El Rey del Tango» (tangokongen), «El Mudo» (den stumme).