Sachverhalt: A. Der 1955 geborene, an Multipler Sklerose leidende S._ meldete sich im September 2004 bei der Gemeindezweigstelle Y._ der Sozialversicherungsanstalt des Kantons Aargau, Ausgleichskasse, zum Bezug von Ergänzungsleistungen zur Invalidenrente an. Verfügungsweise hielt die Sozialversicherungsanstalt am 15. Oktober 2004 fest, "die Anmeldung zum Bezug einer Ergänzungsleistung (müsse) im Kanton Zürich vorgenommen werden". Mit seinem Heimeintritt in der Stadt X._ habe der Versicherte in dieser (zürcherischen) Gemeinde zivilrechtlichen Wohnsitz genommen und den bisherigen, in Y._ gelegenen aufgegeben. Folglich sei nicht der Kanton Aargau für die Festsetzung und Auszahlung der Ergänzungsleistungen zuständig. Die von der Stadt X._ hiegegen erhobene Einsprache wies die Sozialversicherungsanstalt mit Entscheid vom 4. Mai 2005 ab. B. B.a Das Versicherungsgericht des Kantons Aargau trat auf die von der Stadt X._ gegen den Einspracheentscheid erhobene Beschwerde mangels Aktivlegitimation dieser Gemeinde nicht ein (Entscheid vom 16. August 2005). B.b Das Eidgenössische Versicherungsgericht hiess die gegen den Nichteintretens-Entscheid des kantonalen Gerichts eingereichte Verwaltungsgerichtsbeschwerde der Stadt X._ (soweit es darauf eintrat) mit Urteil vom 24. Januar 2006 gut, hob den angefochtenen Entscheid auf und wies die Sache an die Vorinstanz zurück, damit diese über die Beschwerde gegen den Einspracheentscheid der Sozialversicherungsanstalt vom 4. Mai 2005 materiell entscheide. B.c Mit Entscheid vom 2. März 2006 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ab und beantwortete damit die Frage nach der örtlichen Zuständigkeit dahin gehend, dass der Kanton Zürich bzw. (nach dessen EL-Durchführungsregelung) die Stadt X._ die Ergänzungsleistungen festzusetzen und auszuzahlen habe. C. Die Stadt X._ führt erneut Verwaltungsgerichtsbeschwerde mit dem Antrag, es sei festzustellen, dass S._ nach wie vor in Y._ Wohnsitz habe und demzufolge die Sozialversicherungsanstalt des Kantons Aargau für die Festsetzung und Auszahlung der Ergänzungsleistungen zuständig sei. Während S._ auf Gutheissung der Verwaltungsgerichtsbeschwerde schliessen lässt, verzichten die Sozialversicherungsanstalt und das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.