Sachverhalt:
A. Mit Verfügungen vom 23. April 2003 sprach die Schweizerische Ausgleichskasse dem 1936 geborenen, in Deutschland wohnhaften S._ eine Altersrente von monatlich Fr. 189.- vom 1. August 2001 bis 31. Mai 2002, Fr. 243.- vom 1. Juni bis 31. Dezember 2002 und Fr. 249.- ab 1. Januar 2003 zu. Die Verwaltung wies darauf hin, die von ihm und seiner früheren Ehefrau I._ während der Kalenderjahre der gemeinsamen Ehe erzielten Einkommen seien geteilt und beiden Ehegatten je zur Hälfte angerechnet worden. Mit Einspracheentscheid vom 2. Juni 2003 bestätigte die Ausgleichskasse die Rentenverfügung.
B. Die von S._ hiegegen erhobene Beschwerde wies die Eidgenössische Rekurskommission der AHV/IV für die im Ausland wohnenden Personen mit Entscheid vom 21. Januar 2004 ab.
C. S._ führt Verwaltungsgerichtsbeschwerde mit den Rechtsbegehren, die Altersrente sei neu (ohne Einkommenssplitting) zu berechnen.
Die Schweizerische Ausgleichskasse beantragt die Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.
D. S._ hat sich in einer weiteren Eingabe zu den Vorbringen der Ausgleichskasse geäussert.
E. Auf Ersuchen der Instruktionsrichterin hat die Ausgleichskasse zu verschiedenen Fragen der Rentenberechnung Stellung genommen. S._ und die als Mitbeteiligte zum Verfahren beigeladene I._ haben sich hiezu geäussert.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die Rekurskommission hat die letztinstanzlich erneut vorgetragenen Einwendungen gegen die Berechnung der Altersrente ab 1. August 2001 im Wesentlichen mit der Begründung als nicht stichhaltig bezeichnet, die Teilung und gegenseitige je hälftige Anrechnung der während der Kalenderjahre der gemeinsamen Ehe erzielten Einkommen geschiedener Ehegatten (Art. 29quinquies Abs. 3 und 4 AHVG) sei zwingender Natur. Das ist im Sinne des Nachstehenden richtig.
1.1 Die Vorschriften über die Berechnung der Renten der Alters- und Hinterlassenenversicherung sind abgesehen vom hier nicht interessierenden <ref-law> (Anrechnung von Erziehungsgutschriften bei geschiedenen oder unverheirateten Eltern, denen die elterliche Sorge gemeinsam zusteht) einer Vereinbarung grundsätzlich nicht zugänglich. Es handelt sich hiebei um zwingendes Recht. Die Regelung der Nebenfolgen einer Scheidung ist somit für die Rentenberechnung ohne Bedeutung. Der gegenseitige Verzicht der Ehegatten auf nacheheliche Unterhaltsleistungen und auf Leistungen im Hinblick auf die Altersvorsorge im Rahmen der 2. Säule (vgl. <ref-law>), soweit scheidungsrechtlich zulässig (SJ 2002 I S. 540 Erw. 4b), hat daher nicht zur Folge, dass bei Eintritt des Versicherungsfalles (Alter oder Tod) die Renten ohne Einkommenssplitting zu berechnen wären. Das muss umso mehr gelten, als die Rechtsfolgen eines solchen Verzichts in der Regel nicht oder zumindest kaum je in ihrer ganzen Tragweite absehbar sind. An AHV-Berechnungsvorschriften derogierende Scheidungsvereinbarungen wären mithin noch strengere Anforderungen zu stellen als bei einem Verzicht auf Versicherungsleistungen im Bereich der AHV und IV (vgl. dazu <ref-ruling>). In diesem Urteil erachtete das Eidgenössische Versicherungsgericht den Verzicht einer Ehefrau auf die ihr seit 1. Dezember 1997 ausgerichtete Teilrente zu Gunsten einer Vollrente des Ehemannes samt Zusatzrente ab 1. Februar 2000 als unzulässig.
Das soeben Gesagte, insbesondere die Ordnung gemäss Art. 29quinquies Abs. 3 und 4 AHVG über das Einkommenssplitting, gilt vorbehältlich anders lautender Staatsverträge auch für nicht in der Schweiz getroffene und nicht schweizerischem Recht unterliegende Scheidungsvereinbarungen. Ebenfalls kommt es nicht auf Wohnsitz und Staatszugehörigkeit der anspruchsberechtigten Person an. Die am 19. Juni 1981 notariell beglaubigte Vereinbarung zwischen dem Beschwerdeführer und seiner damaligen Ehefrau über den gegenseitigen Verzicht auf die Durchführung des Versorgungsausgleichs gemäss §§ 1587 f. BGB hat somit für die Berechnung der schweizerischen Altersrente keine Bedeutung.
1.2 Im Weitern sehen weder das Abkommen vom 25. Februar 1964 zwischen der Schweizerischen Eidgenossenschaft und der Bundesrepublik Deutschland über soziale Sicherheit noch das am 1. Juni 2002 in Kraft getretene Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (FZA) vor, dass in die Berechnung der Altersrente auch die in Deutschland zurückgelegten Versicherungszeiten einzubeziehen sind (vgl. <ref-ruling>). Die als Folge des FZA geänderte Ermittlung der Rentenskala bei laufenden Teilrenten für die Zeit ab 1. Juni 2002 ist im Übrigen berücksichtigt worden. Die neue Berechnungsweise hat zu einer höheren anwendbaren Rentenskala (9) und damit zu einer Erhöhung der Altersrente von Fr. 189.- auf Fr. 243.- geführt (vgl. zum Ganzen Kreisschreiben zur Einführung der linearen Rentenskala bei laufenden Renten [KSLRS] gültig ab 1. Juni 2002; <ref-ruling> Erw. 5.4).
2. Die Ausgleichskasse führte im Einspracheentscheid vom 2. Juni 2003 aus, das in den gemeinsamen Ehejahren in der Schweiz (1957-1961 und 1972-1974) erzielte Einkommen unterliege dem «Ehegattensplitting». Tatsächlich nahm jedoch die Verwaltung lediglich für 1960 und 1961 eine Einkommensteilung vor, wie die Rekurskommission zutreffend festhält. Dabei übersieht die Vorinstanz indessen, dass dem Beschwerdeführer in Anwendung von <ref-law> (in Verbindung mit <ref-law>) die 1953 bis 1956 vor dem 1. Januar nach Vollendung des 20. Altersjahres zurückgelegten Beitragszeiten lückenfüllend angerechnet wurden, und zwar für 1957 ein Monat, für 1962 und 1963 je 12 Monate und für 1964 fünf Monate. Aufgefüllte Beitragslücken gelten nach Art. 50b Abs. 1 zweiter Satz AHVV als Versicherungszeiten. Die entsprechenden Einkommen unterliegen der Teilung und gegenseitigen je hälftigen Anrechnung, solange der Ehegatte (ebenfalls) der schweizerischen Alters- und Hinterlassenenversicherung unterstanden ist (<ref-law> und Art. 50b Abs. 1 erster Satz AHVV; in <ref-ruling> nicht publizierte Erw. 4.2 [= SVR 2003 AHV Nr. 10 S. 26 Erw. 4.2]; vgl. auch Rz 5113 der Wegleitung über die Renten in der Eidgenössischen Alters-, Hinterlassenen- und Invalidenversicherung [RWL]). Vorliegend sind somit auch die für 1962, 1963 und 1964 gutgeschriebenen Einkommen zu splitten.
Im Weitern ist die vorinstanzlich bestätigte Rentenberechnung der Ausgleichskasse auch insofern nicht bundesrechtskonform, als dem Beschwerdeführer für seinen 1958 geborenen Sohn M._ keine Erziehungsgutschriften angerechnet worden sind (vgl. <ref-law> und <ref-law>). Demgegenüber wurden gemäss Akten bei der Berechnung der Altersrente seiner früheren Ehefrau fünf ganze, u.a. für die Kalenderjahre 1962 bis 1964, und drei halbe Erziehungsgutschriften berücksichtigt.
3. Die Ausgleichskasse wird im Sinne des Vorstehenden die Altersrente des Beschwerdeführers nach Massgabe der einschlägigen Gesetzes- und Verordnungsbestimmungen neu zu berechnen haben und darüber eine Verfügung erlassen. Diese wird sie auch seiner früheren Ehefrau I._ eröffnen.
4. Die durch ihren Sohn anwaltlich vertretene frühere Ehefrau des Beschwerdeführers hat keinen Antrag zur Verwaltungsgerichtsbeschwerde gestellt. Von der Zusprechung einer Parteientschädigung ist daher abzusehen.

Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen vom 21. Januar 2004 und der Einspracheentscheid vom 2. Juni 2003 aufgehoben werden und die Sache an die Schweizerische Ausgleichskasse zurückgewiesen wird, damit sie im Sinne der Erwägungen die Altersrente neu berechne und darüber verfüge.
2. Es werden keine Gerichtskosten erhoben.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen, dem Bundesamt für Sozialversicherung und I._ zugestellt.
Luzern, 13. Oktober 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer: Der Gerichtsschreiber:
i.V.