Nielsen ble utdannet ved Tromsø Seminarium (1857), før han tok jobb som lærer for samiske barn i Lyngen. I 1859 reiste han til Kristiania for teologistudier ved Det Kongelige Frederiks Universitet. Sammen med Elias Blix og andre medelever fra Tromsø, var han med i Nordlændingernes Forening, og (som Blix) arbeidet han som lærer ved Hartvig Nissens skole (1860–74) og senere Oslo katedralskole (1877–79).