Nielsen var sønn av skohandleren Charles William Nielsen og Sofie Pedersen, og i 1962 giftet han seg med Randi N. (født i Odense).