Han var sønn av døveskolelærer Peter Christian Møller og hustru Beate Marie Worm Sivertsen. Faren underviste ved døveskolen som farbroren Andreas Christian Møller drev i Trondhjem. A.C. Møller skole bærer fortsatt hans navn.