Knudsen var sønn av bøkkeren og daglønneren Knud Olai Rasmussen, og sønnen Christian tok Holtermann-navnet fra sin ubeslektede fadder, kjøpmannen Nicolay Holtermann i Bergen. Han vokste opp i et arbeiderhjem med to brødre og to søstre, og ble en av de fremste elevene ved Christi Krybbe skole. Faren var rodeforstander i Bergens Arbeiderforening – en «borgerlig» arbeiderforening som i motsetning til Kristiania Arbeidersamfund aldri kom til å bli knyttet til den politiske arbeiderbevegelsen. Men inspirert av de «borgerlige» arbeidersamfunnenes sykekasser gikk Christian Holtermann Knudsen senere inn for at også de sosialistiske fagforeningene skulle arrangere slike hjelpekasser for medlemmene. Den praktiske nytten av samhold styrket det indre fellesskapet og solidaritetsånden, mente han.