Sachverhalt: A. Der am 10. Oktober 1937 geborene M._ reiste, nachdem er bis September 1956 in Griechenland gewohnt, von Oktober 1956 bis Ende 1961 in Österreich studiert und 1962/1963 in Griechenland Militärdienst geleistet hatte, als griechischer Staatsangehöriger in die Schweiz ein, wo er ab Januar 1964 wohnte sowie arbeitete und im Jahr 1978 das Schweizer Bürgerrecht erlangte. Er leistete von Januar 1964 bis Dezember 2000 als Arbeitnehmer und von Januar 2001 bis Oktober 2002 als Nichterwerbstätiger Beiträge an die schweizerische Alters- und Hinterlassenenversicherung (nachfolgend: AHV). Mit Verfügung vom 28. November 2002 sprach ihm die Eidgenössische Ausgleichskasse mit Wirkung ab 1. November 2002 eine ordentliche Alters-Teilrente aufgrund einer Beitragsdauer von 38 vollen Beitragsjahren (38 Jahre 10 Monate) zu. B. Der Versicherte reichte hiegegen Beschwerde ein, in welcher er beantragte, es seien nebst den 38 Jahren und 10 Monaten, während deren er Beiträge bezahlt habe (Januar 1964 bis Oktober 2002), für vor 1964 liegende fehlende Beitragsjahre 3 zusätzliche Jahre als Beitragszeit anzurechnen. Das Versicherungsgericht des Kantons Aargau hiess das Rechtsmittel mit Entscheid vom 16. September 2003 gut, indem es die Verwaltungsverfügung aufhob und die Sache zur Neufestlegung der Rente unter Berücksichtigung dreier zusätzlicher Beitragsjahre an die Ausgleichskasse zurückwies. C. Das Bundesamt für Sozialversicherung (nachfolgend: BSV) führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, der kantonale Gerichtsentscheid sei aufzuheben. Die Ausgleichskasse schliesst unter Hinweis auf die Ausführungen des BSV auf Gutheissung der Verwaltungsgerichtsbeschwerde, während M._ sinngemäss die Abweisung des Rechtsmittels beantragt. D. Das Eidgenössische Versicherungsgericht und die II. Öffentlichrechtliche Abteilung des Schweizerischen Bundesgerichts haben einen Meinungsaustausch geführt über die Frage, ob sich eine Person im Anwendungsbereich des Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen; FZA; SR 0.142.112.681), dessen Bejahung einen Sachverhalt mit einem grenzüberschreitenden Anknüpfungspunkt voraussetzt (BGE 129 II 260 Erw. 4.3), auch gegenüber ihrem eigenen Heimatstaat - und zwar auch dann, wenn sie in diesem Staat wohnt - auf das Diskriminierungsverbot des Art. 2 FZA berufen kann.