Han ble født i Arendal som sønn av rektor Axel Christian Rosenkrantz Smith (1813–1876) og Anne Sophie Amalie Kløcker (1823–1919). Han giftet seg 16. juni 1880 med Olga Evensen fra Hisøy (1860–1949). Deres yngste sønn var høyesterettsadvokat Oscar Smith. Axel Smith var farfar til høyesterettsjustitiarius Carsten Smith.