Sachverhalt:
A. Der 1955 geborene, an Multipler Sklerose leidende S._ meldete sich im September 2004 bei der Gemeindezweigstelle Y._ der Sozialversicherungsanstalt des Kantons Aargau, Ausgleichskasse, zum Bezug von Ergänzungsleistungen zur Invalidenrente an. Verfügungsweise hielt die Sozialversicherungsanstalt am 15. Oktober 2004 fest, "die Anmeldung zum Bezug einer Ergänzungsleistung (müsse) im Kanton Zürich vorgenommen werden". Mit seinem Heimeintritt in der Stadt X._ habe der Versicherte in dieser (zürcherischen) Gemeinde zivilrechtlichen Wohnsitz genommen und den bisherigen, in Y._ gelegenen aufgegeben. Folglich sei nicht der Kanton Aargau für die Festsetzung und Auszahlung der Ergänzungsleistungen zuständig. Die von der Stadt X._ hiegegen erhobene Einsprache wies die Sozialversicherungsanstalt mit Entscheid vom 4. Mai 2005 ab.
B. B.a Das Versicherungsgericht des Kantons Aargau trat auf die von der Stadt X._ gegen den Einspracheentscheid erhobene Beschwerde mangels Aktivlegitimation dieser Gemeinde nicht ein (Entscheid vom 16. August 2005).
B.b Das Eidgenössische Versicherungsgericht hiess die gegen den Nichteintretens-Entscheid des kantonalen Gerichts eingereichte Verwaltungsgerichtsbeschwerde der Stadt X._ (soweit es darauf eintrat) mit Urteil vom 24. Januar 2006 gut, hob den angefochtenen Entscheid auf und wies die Sache an die Vorinstanz zurück, damit diese über die Beschwerde gegen den Einspracheentscheid der Sozialversicherungsanstalt vom 4. Mai 2005 materiell entscheide.
B.c Mit Entscheid vom 2. März 2006 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ab und beantwortete damit die Frage nach der örtlichen Zuständigkeit dahin gehend, dass der Kanton Zürich bzw. (nach dessen EL-Durchführungsregelung) die Stadt X._ die Ergänzungsleistungen festzusetzen und auszuzahlen habe.
C. Die Stadt X._ führt erneut Verwaltungsgerichtsbeschwerde mit dem Antrag, es sei festzustellen, dass S._ nach wie vor in Y._ Wohnsitz habe und demzufolge die Sozialversicherungsanstalt des Kantons Aargau für die Festsetzung und Auszahlung der Ergänzungsleistungen zuständig sei.
Während S._ auf Gutheissung der Verwaltungsgerichtsbeschwerde schliessen lässt, verzichten die Sozialversicherungsanstalt und das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
1. 1.1 Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1.2 Im letztinstanzlichen Verfahren um die örtliche Zuständigkeit zur Festsetzung und Auszahlung der Ergänzungsleistungen gilt die umfassende Kognition gemäss Art. 132 OG (in der hier anwendbaren, bis Ende Juni 2006 gültig gewesenen Fassung; <ref-ruling> E. 1 S. 24).
2. Gemäss Art. 1a Abs. 1 ELG leistet der Bund Beiträge an die Kantone, die aufgrund eigener, den Anforderungen dieses Gesetzes entsprechender Bestimmungen den Bezügern von Renten der Alters- und Hinterlassenenversicherung (AHV) sowie der Invalidenversicherung (IV) Ergänzungsleistungen gewähren. Die Kantone bezeichnen die Organe, denen die Entgegennahme der Gesuche, die Festsetzung und Auszahlung der Ergänzungsleistungen obliegen; sie können mit diesen Aufgaben die kantonalen Ausgleichskassen betrauen (Art. 6 Abs. 1 erster und zweiter Satz ELG). Während der Kanton Aargau - wie die meisten Kantone - die kantonale Ausgleichskasse (Sozialversicherungsanstalt) mit der EL-Durchführung betraut hat (§ 16 des aargauischen Gesetzes über die Ergänzungsleistungen zur AHV und IV [Ergänzungsleistungsgesetz; SAR 831.200]), hat der Kanton Zürich diese Aufgabe den politischen Gemeinden übertragen (§ 2 des Zürcher Gesetzes über die Zusatzleistungen zur eidgenössischen AHV/IV [Zusatzleistungsgesetz; LS 831.3]). Diese haben grösstenteils für die Finanzierung der auszurichtenden Ergänzungsleistungen aufzukommen und die mit der jeweiligen Fallführung verbundenen Verwaltungskosten gänzlich zu übernehmen (§§ 33 ff. des zürcherischen Zusatzleistungsgesetzes in Verbindung mit Art. 6 Abs. 1 letzter Satz und Art. 9 ELG).
3. Zuständig für die Festsetzung und Auszahlung der Ergänzungsleistung ist nach Art. 1a Abs. 3 ELG der Kanton, in dem der Bezüger seinen Wohnsitz hat. Bei streitiger Zuständigkeit haben die kantonalen Versicherungsgerichte und letztinstanzlich das Bundesgericht über die Wohnsitzfrage zu entscheiden (<ref-ruling> E. 4.1.2 S. 79, 127 V 237 E. 1 S. 238, 108 V 22 E. 2a S. 24).
3.1 Der im Rahmen des EL-Rechts massgebende Wohnsitz einer Person bestimmt sich gemäss <ref-law> in Verbindung mit Art. 1 Abs. 1 ELG nach den Art. 23-26 ZGB. Der zivilrechtliche Wohnsitz einer Person befindet sich an dem Ort, wo sie sich mit der Absicht dauernden Verbleibens aufhält (<ref-law>) und den sie sich zum Mittelpunkt ihrer Lebensinteressen gemacht hat (<ref-ruling> E. 1 S. 238, 125 III 100 E. 3 S. 102). Für die Begründung des Wohnsitzes müssen somit zwei Merkmale erfüllt sein: ein objektives äusseres, der Aufenthalt, sowie ein subjektives inneres, die Absicht dauernden Verbleibens. Nach der Rechtsprechung kommt es nicht auf den inneren Willen, sondern darauf an, auf welche Absicht die erkennbaren Umstände objektiv schliessen lassen (<ref-ruling> E. 1 S. 238, 125 V 76 E. 2a S. 77). Der Wohnsitz bleibt an diesem Ort bestehen, solange nicht anderswo ein neuer begründet wird (<ref-law>). Der Aufenthalt an einem Ort zum Zweck des Besuchs einer Lehranstalt und die Unterbringung einer Person in einer Erziehungs-, Versorgungs-, Heil- oder Strafanstalt begründen nach <ref-law> keinen Wohnsitz.
Obwohl der Wortlaut nicht ohne weiteres darauf schliessen lässt, wird in <ref-law> eine widerlegbare Vermutung angestellt, wonach der Aufenthalt am Studienort oder in einer Anstalt nicht bedeute, dass auch der Lebensmittelpunkt an den fraglichen Ort verlegt worden ist; <ref-law> umschreibt somit im Ergebnis negativ, was <ref-law> zum Wohnsitz in grundsätzlicher Hinsicht positiv festhält. Bei der Unterbringung in einer Anstalt, d.h. der Anstaltseinweisung durch Dritte, die nicht aus eigenem Willen erfolgt, wird man regelmässig eine Wohnsitznahme von vornherein ausschliessen müssen. Eine andere Sichtweise ist einzunehmen, wenn sich eine urteilsfähige mündige Person aus freien Stücken, d.h. freiwillig und selbstbestimmt zu einem Anstaltsaufenthalt unbeschränkter Dauer entschliesst und überdies die Anstalt und den Aufenthaltsort frei wählt. Sofern bei einem unter solchen Begleitumständen erfolgenden Anstaltseintritt der Lebensmittelpunkt in die Anstalt verlegt wird, wird am Anstaltsort ein neuer Wohnsitz begründet. Als freiwillig und selbstbestimmt hat der Anstaltseintritt auch dann zu gelten, wenn er vom "Zwang der Umstände" (etwa Angewiesensein auf Betreuung, finanzielle Gründe) diktiert wird (<ref-ruling> E. 2b und c S. 239 ff., 108 V 22 E. 2b und 3b S. 25 f.; Pra 2001 Nr. 131 S. 787 ff. E. 4a und b; Ralph Jöhl, Ergänzungsleistungen zur AHV/IV, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Bd. Soziale Sicherheit, 2. A. 2006, Rz. 44 ff.; Wegleitung des BSV über die Ergänzungsleistungen zur AHV und IV [WEL], Rz. 1018, 1020 f.).
3.2 S._ trat am 1. September 2002 ins Heim Z._ in X._ ein. Hiebei handelt es sich um ein Wohnheim für körperlich Schwerstbehinderte, die an den Folgen einer Multiplen Sklerose, einer Hirnverletzung oder einer anderen chronischen neurologischen Krankheit leiden und dauernd auf Assistenz, Pflege, Betreuung oder Begleitung angewiesen sind. Gemäss den Angaben seines Beistandes in der vorinstanzlichen Stellungnahme vom 13. Juli 2005 wurde die Institution seinerzeit vom Versicherten und seiner Ehefrau ausgewählt, weil zu Hause die erforderliche Pflege und Betreuung nicht mehr habe erbracht werden können und der Kanton Aargau über kein ähnliches (hoch spezialisiertes) Invalidenwohnheim verfüge. S._ fühle sich im Heim Z._ sehr wohl und sei dort auch gut aufgehoben. Gemäss Scheidungsurteil vom 23. August 2004 ist er berechtigt, seine beiden 1989 und 1991 geborenen Söhne jeweils am 1. und 3. Sonntag des Monats bei sich im Pflegeheim zu Besuch zu empfangen.
3.3 Im hier zu beurteilenden Fall mag offen bleiben, ob das Heim Z._ eine Anstalt im Sinne von <ref-law> ist oder nicht (vgl. dazu <ref-ruling> E. 2b am Anfang und am Ende sowie E. 2c am Ende S. 239 ff.). Wenn die Frage zu bejahen wäre, müsste jedenfalls die gesetzliche Vermutung, wonach der Lebensmittelpunkt von S._ nicht an den Ort des Invalidenwohnheims übergegangen sei, als widerlegt gelten: Die angeführte Aktenlage lässt nämlich einzig den Schluss zu, dass sich der Versicherte freiwillig und eigenverantwortlich für einen unbefristeten Aufenthalt im Heim Z._ entschieden hat. Entgegen der Auffassung der Beschwerde führenden Stadt X._ ändert daran der äussere Umstand nichts, dass "es mindestens in der Deutschschweiz keine andere vergleichbare Einrichtung gibt" (E. 3.1 hievor am Ende). Des Weitern muss aufgrund der erkennbaren Gegebenheiten gefolgert werden, dass der Mittelpunkt der Lebensinteressen von S._ spätestens mit der im September 2004 rechtskräftig gewordenen Ehescheidung in das Heim Z._ verlegt worden ist und damit in X._ ein neuer Wohnsitz begründet wurde. Dass der Versicherte in dieser Stadt bloss "als Wochenaufenthalter gemeldet" ist, führt - entgegen der in der Verwaltungsgerichtsbeschwerde vertretenen Auffassung - zu keiner anderen Betrachtungsweise, weil für den zivilrechtlichen Wohnsitz nicht massgebend ist, wo eine Person angemeldet ist und ihre Schriften hinterlegt hat (<ref-ruling> E. 2c S. 241). Was den Einwand der Beschwerdeführerin anbelangt, die geltende gesetzliche Regelung benachteilige die Standortgemeinden von Institutionen zur Betreuung und Pflege Invalider, ist auf <ref-ruling> E. 2d am Ende S. 242 zu verweisen, wo das frühere Eidgenössische Versicherungsgericht in vergleichbarem Zusammenhang festhielt, es bleibe Sache des Gesetzgebers, Abhilfe zu schaffen und gegebenenfalls ergänzungsleistungsrechtlich eine vom zivilrechtlichen Wohnsitz abweichende Lösung vorzusehen.
3.4 Nach dem Gesagten sind die Behörden der Stadt X._ und nicht die Sozialversicherungsanstalt des Kantons Aargau zuständig für die Festsetzung und Auszahlung der Ergänzungsleistungen ab dem Zeitpunkt der im September 2004 erfolgten Anmeldung zum Leistungsbezug (Art. 21 Abs. 1 ELV).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Sache geht an die Stadt X._, damit sie über den Anspruch von S._ auf Ergänzungsleistungen ab September 2004 verfüge.
3. Es werden keine Gerichtskosten erhoben.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, dem Bundesamt für Sozialversicherungen und S._ zugestellt.
Luzern, 19. Juni 2007
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: