Han ble født i Moss som sønn av en offiser. Hans eldre bror Johannes Scharffenberg (1863-99) arbeidet som maskinist i Kongostaten til sin død. Denne broren skildres av Joseph Conrad i romanen som «Freieslebens maskinist».