Нильсен начал карьеру в клубе третьего дивизиона «Фреманд Амагер». В 1989 году он перешёл в «Люнгбю». В 1991 году он был выбран лучшим футболистом чемпионата Дании и получил вызов в сборную на Евро-92. После первенства Европы Петер перешёл в немецкую «Боруссию» из Мёнхенгладбаха. С командой он в сезоне 1994/1995 выиграл свой единственный трофей на клубном уровне — Кубок Германии. Нильсен провел за немецкий клуб около 100 матчей, после чего вернулся на родину, где подписал контракт с «Копенгагеном». В новой команде Петер был капитаном команды.