Faren Anton hadde som ung spilt trekkspill på dansetilstelninger i Røyken i Hurum, før han dro til sjøs noen år. Deretter giftet han seg med Louise Larsen fra Kråkerøy, og de bosatte seg like ved Grønland kirke i daværende Kristiania. Anton Carlsen fikk arbeid på Nylands Mekaniske Verksted. På fritiden bygget han fioliner og ledet sangkoret til metodistmenigheten Elim. Ekteparet var dypt religiøse og aktive i menigheten. Sønnen Carsten ble Antons og Louises eneste barn, og han arvet farens absolutte gehør.