Sachverhalt: Mit Verfügung vom 29. Oktober 2003 lehnte die IV-Stelle Nidwalden ein Leistungsgesuch des D._ (geb. 1967) ab. Daran hielt sie mit unangefochten gebliebenem Einspracheentscheid vom 22. Januar 2004 fest. Auf ein neues Leistungsgesuch trat die IV-Stelle mit Verfügung vom 2. Juni 2005 nicht ein. Diese Verfügung bestätigte sie mit Einspracheentscheid vom 8. September 2005. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Nidwalden mit Entscheid vom 15. Mai 2006 ab. D._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm eine ganze Invalidenrente zuzusprechen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung verzichtet.