Nielsen var gift fire ganger og hadde to barn fra sitt andre ekteskap. Han var en ivrig golfspiller og han spøkte ofte «» Han var kjent for å være en spøkefugl på filmsettet. Han hadde en «prompemaskin», en slags prompepute han kunne bruke til å plage sine kolleger og filmpersonell på settet.