Sachverhalt:
A. Mit Verfügung vom 2. April 2003 sprach die IV-Stelle Nidwalden dem 1953 geborenen Z._ rückwirkend ab 1. Mai 1996 eine halbe Invalidenrente zu. Die Nachzahlung der beiden Kinderrenten für O._ und R._ im Betrag von Fr. 67'822.-, einschliesslich des Vergütungszinses und der Betreffnisse für den Monat April 2003, erfolgte gemäss einer weiteren Verfügung vom 2. April 2003 an die geschiedene Ehefrau E._.
Z._ liess gegen die verfügte Ausrichtung der Kinderrenten an seine geschiedene Ehefrau Einsprache erheben. Mit Entscheid vom 7. Juli 2003 hob die IV-Stelle die angefochtene Verfügung vom 2. April 2003 in Gutheissung der Einsprache insoweit auf, als darin die Nachzahlung der Kinderrenten an die Mutter angeordnet wurde, und veranlasste die Nachzahlung des Betrages von Fr. 67'822.- an Z._. Weiter verpflichtete sie sich, von E._ diesen zu Unrecht ausbezahlten Betrag zurückzufordern. Den in der Einsprache gestellten Antrag auf Zusprechung einer Parteientschädigung lehnte die IV-Stelle ab.
B. Z._ liess Beschwerde führen mit dem Begehren, unter teilweiser Aufhebung des Einspracheentscheides sei ihm für das Einspracheverfahren eine Parteientschädigung zuzusprechen. Mit Entscheid vom 22. Dezember 2003 wies das Versicherungsgericht des Kantons Nidwalden die Beschwerde ab.
C. Mit Verwaltungsgerichtsbeschwerde lässt Z._ den vorinstanzlich gestellten Antrag erneuern.
Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Gemäss <ref-law> kann gegen Verfügungen innerhalb von 30 Tagen bei der verfügenden Stelle Einsprache erhoben werden; davon ausgenommen sind prozess- und verfahrensleitende Verfügungen (Abs. 1). Die Einspracheentscheide sind innert angemessener Frist zu erlassen. Sie werden begründet und mit einer Rechtsmittelbelehrung versehen (Abs. 2). Das Einspracheverfahren ist kostenlos. Parteientschädigungen werden in der Regel nicht ausgerichtet (Abs. 3).
2. Streitig ist, ob der Beschwerdeführer für das Einspracheverfahren, in welchem er obsiegt hat, eine Parteientschädigung zu Lasten der IV-Stelle beanspruchen kann. Dabei ist zu prüfen, unter welchen Voraussetzungen von der in <ref-law> statuierten Regel, wonach für das Einspracheverfahren keine Parteientschädigungen ausgerichtet werden, abgewichen werden kann, und ob im vorliegenden Fall ein derartiger Ausnahmetatbestand gegeben ist.
2.1 Im Bericht und Entwurf zu einem Allgemeinen Teil der Sozialversicherung einer Arbeitsgruppe der Schweizerischen Gesellschaft für Versicherungsrecht zur Verbesserung der Koordination in der Sozialversicherung (publiziert in einem Beiheft zur SZS, Bern 1984) war vorgesehen, dass im Einspracheverfahren, welches nach dem Vorbild der obligatorischen Unfallversicherung (<ref-law> und 130 UVV je in der bis 31. Dezember 2002 gültig gewesenen Fassung) konzipiert war, keine Parteientschädigungen ausgerichtet werden (S. 52 und 76).
Im Bericht der ständerätlichen Kommission zur Parlamentarischen Initiative Allgemeiner Teil Sozialversicherung vom 27. September 1990, der sich an denjenigen der Arbeitsgruppe der Schweizerischen Gesellschaft für Versicherungsrecht anlehnt, ist für das Einspracheverfahren wiederum kein Parteientschädigungsanspruch vorgesehen (BBl 1991 II 201 oben). In den Erläuterungen zum Einspracheverfahren wird im Einklang mit den Ausführungen der Arbeitsgruppe auf den Zweck dieses Rechtsbehelfs hingewiesen (Vermeiden unnötiger Prozesse) sowie darauf, dass das Einspracheverfahren kostenlos und weitgehend formlos sei, wie es in der obligatorischen Unfallversicherung mit Erfolg angewendet werde (BBl 1991 II 262).
Die Kommission des Nationalrates für soziale Sicherheit und Gesundheit schliesslich hielt in ihrem Bericht vom 26. März 1999 zur Parlamentarischen Initiative Sozialversicherungsrecht u.a. fest, dass die Rechtsprechung in bestimmten Fällen des Einspracheverfahrens den Anspruch eines Minderbemittelten, dessen Standpunkt nicht aussichtslos ist, auf Vergütung der Kosten für die notwendige anwaltschaftliche Vertretung zuerkannt habe. Der ständerätliche Antrag würde dem entgegenstehen. Die Kommission stellte sodann klar, dass die ständerätliche Fassung die normale, voraussetzungslos geschuldete Parteientschädigung bei Obsiegen ausschliesse, und beantragte, den Grundsatz zu relativieren und festzuhalten, dass Parteientschädigungen in der Regel nicht ausgerichtet werden. Damit soll - bei vorerst unentgeltlicher Verbeiständung - die Entschädigung im Falle des Obsiegens ermöglicht werden (BBl 1999 4612).
Diese Fassung der nationalrätlichen Kommission für soziale Sicherheit und Gesundheit erfuhr in den parlamentarischen Beratungen keine Änderung mehr und wurde in <ref-law> vom 6. Oktober 2000 Gesetz.
2.2 Die Entstehungsgeschichte (zur Bedeutung der Materialien für die Gesetzesauslegung, insbesondere bei verhältnismässig jungen Gesetzen siehe <ref-ruling> Erw. 3b mit Hinweisen) des <ref-law> mit der engen Anlehnung an die analoge Regelung in der obligatorischen Unfallversicherung, die den Anspruch auf Parteientschädigung im Einspracheverfahren in <ref-law> (gültig bis 31. Dezember 2002) ausschloss, was vom Eidgenössischen Versicherungsgericht wiederholt als gesetzmässig erachtet wurde (<ref-ruling> Erw. [II.] 1.; RKUV 2003 Nr. U 490 S. 364), zeigt klar, dass der Gesetzgeber die ausnahmsweise Zusprechung einer Parteientschädigung im Einspracheverfahren unter einer Bedingung als zulässig und geboten erachtete: Der Einsprecher, der nicht über die erforderlichen Mittel verfügt, um die Anwaltskosten selbst zu tragen, und der im Falle des Unterliegens die unentgeltliche Verbeiständung (<ref-law>) hätte beanspruchen können, soll bei Obsiegen vom unterliegenden Versicherungsträger entschädigt werden. Dieser Tatbestand der Entschädigung der prozessarmen Partei im Obsiegensfall ist hier unstreitig nicht gegeben.
2.2 Die Entstehungsgeschichte (zur Bedeutung der Materialien für die Gesetzesauslegung, insbesondere bei verhältnismässig jungen Gesetzen siehe <ref-ruling> Erw. 3b mit Hinweisen) des <ref-law> mit der engen Anlehnung an die analoge Regelung in der obligatorischen Unfallversicherung, die den Anspruch auf Parteientschädigung im Einspracheverfahren in <ref-law> (gültig bis 31. Dezember 2002) ausschloss, was vom Eidgenössischen Versicherungsgericht wiederholt als gesetzmässig erachtet wurde (<ref-ruling> Erw. [II.] 1.; RKUV 2003 Nr. U 490 S. 364), zeigt klar, dass der Gesetzgeber die ausnahmsweise Zusprechung einer Parteientschädigung im Einspracheverfahren unter einer Bedingung als zulässig und geboten erachtete: Der Einsprecher, der nicht über die erforderlichen Mittel verfügt, um die Anwaltskosten selbst zu tragen, und der im Falle des Unterliegens die unentgeltliche Verbeiständung (<ref-law>) hätte beanspruchen können, soll bei Obsiegen vom unterliegenden Versicherungsträger entschädigt werden. Dieser Tatbestand der Entschädigung der prozessarmen Partei im Obsiegensfall ist hier unstreitig nicht gegeben.
2.3 2.3.1 Ob auch Ausnahmen vorzubehalten sind, wo gestützt auf <ref-law> im Einzelfall ein Anspruch auf Parteientschädigung anzuerkennen ist (vgl. <ref-ruling> oben, Erw. [II.] 1/b), kann hier offen bleiben. Denn es spricht nichts dafür, dass die Verweigerung einer Parteientschädigung für das Einspracheverfahren im vorliegenden Fall in verfassungsmässig unhaltbarer Weise dem Gebot der Gerechtigkeit zuwiderliefe.
2.3.2 Nicht zu entscheiden ist hier schliesslich die Frage, ob der Wortlaut von <ref-law> die Zusprechung einer Parteientschädigung auch bei Vorliegen besonderer Umstände (etwa besonderer Aufwendungen oder Schwierigkeiten) zulässt, wie Ueli Kieser (ATSG-Kommentar, N 28 zu Art. 52) annimmt. Der Rechtsvertreter des Beschwerdeführers hatte im Einspracheverfahren keine übermässigen Aufwendungen zu tätigen, da der Fall weder in tatsächlicher noch in rechtlicher Hinsicht besondere Schwierigkeiten bot. Dementsprechend konnte der Rechtsvertreter sich denn auch mit einer knapp gehaltenen Einsprache im Umfang von drei Seiten begnügen. Denn die Verfügung der IV-Stelle war insofern fehlerhaft, als die Nachzahlung der Kinderrentenbetreffnisse an die Mutter und geschiedene Ehefrau des Beschwerdeführers erfolgte, obwohl diese keinen entsprechenden Antrag (<ref-law> in Verbindung mit <ref-law>) gestellt hatte. Die Vorbringen in der Verwaltungsgerichtsbeschwerde sind nicht geeignet, zu einem abweichenden Ergebnis zu führen. Der Umstand, dass der Rechtsvertreter vor Abfassung der Einsprache einmal telefonisch und einmal schriftlich bei der Verwaltung intervenierte, diese aber untätig blieb, zeigt wohl die Nützlichkeit des Einspracheverfahrens und dessen Zweck, Irrtümer des Versicherungsträgers zu korrigieren, ohne dass der Betroffene ein Gerichtsverfahren anstrengen muss, belegt aber keine besondere Komplexität des Verwaltungsverfahrens.
3. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Prozessausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 135 in Verbindung mit Art. 156 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Nidwalden, Abteilung Versicherungsgericht, der Ausgleichskasse Nidwalden und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 23. September 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer: Der Gerichtsschreiber: