Nielsen ble født i Canada, men tok etter hvert statsborgerskap i USA, der han hadde de meste av sin karriere. Han debuterte som skuespiller i filmen i 1956 og ble hovedsakelig kjent som en seriøs dramaskuespiller. Hans første hovedrolle i en TV-serie var som soldaten Francis Marion fra den amerikanske uavhengighetskrigen i . I 1969 hadde han den ledende rollen som politimann i . Hans første komedierolle var som Dr. Rumack i i 1980. President Harris i Scary Movie 3 og 4. Hans siste seriøse filmrolle var som Allen Green i i 1987. Han har i løpet av sin skuespillerkarriere dukket opp i over 100 filmer og 1500 fjernsynsprogrammer.