Ved siden av målsaken interesserte Nielsen seg for folkeminnesamling. Sammen med Ludvig M. Lindeman hadde han alt i 1863 utgitt en samling på , og i 1868 fikk han utgitt som en av Samlagets første bøker. Han interesserte seg også for språk, særlig gammelgresk, og utga i 1907 en oversettelse av et utvalg fra .