Nielsen var også innehaver av flere utenlandske ordener. Han var kommandør av Dannebrogordenen, ridder av Nordstjerneordenen, ridder 1. klasse av Sverdordenen, kommandør med stjerne av Vasaordenen, kommandør av Æreslegionen og ridder av Den røde ørns orden.