Sachverhalt: Sachverhalt: A. Der in G._ wohnhaft gewesene O._ (geb. 1963) erhielt mit Verfügung der IV-Stelle des Kantons Solothurn vom 6. April 1998 rückwirkend ab 1. Februar 1997 eine ganze Invalidenrente zugesprochen. Im Mai 1998 zog er nach R._, wo er sich am 14. Mai 1998 auf dem Einwohneramt anmeldete. Hier stellte er am 17. Juni 1998 ein Gesuch zum Bezug von Ergänzungsleistungen. Mit Verfügung vom 9. Juli 1998 sprach ihm die Durchführungsstelle für Zusatzleistungen zur AHV/IV der Gemeinde R._ ab 1. Mai 1998 Ergänzungsleistungen zur Invalidenrente von monatlich Fr. 1089.- zu. Für die Zeit vom 1. Februar 1997 bis Ende April 1998 verneinte sie mangels Zuständigkeit einen Leistungsanspruch. Die hiegegen von der Einwohnergemeinde G._ erhobene Einsprache lehnte der Bezirksrat H._ mit Beschluss vom 14. Oktober 1998 ab. Die daraufhin von der Einwohnergemeinde G._ eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit unangefochten in Rechtskraft erwachsenem Entscheid vom 27. Juli 1999 ab. Am 7. September 1998 gelangte die Einwohnergemeinde G._ erstmals an die Ausgleichskasse des Kantons Solothurn und beantragte für O._ die rückwirkende Ausrichtung einer Ergänzungsleistung ab 1. Februar 1997. Dieses Gesuch erneuerte sie am 21. Oktober 1999. Mit Verfügung vom 3. November 1999 trat die Ausgleichskasse des Kantons Solothurn mangels örtlicher Zuständigkeit auf das Gesuch nicht ein, weil für die Ausrichtung der Ergänzungsleistungen der Wohnsitz zum Zeitpunkt der Anmeldung massgebend sei. Am 7. September 1998 gelangte die Einwohnergemeinde G._ erstmals an die Ausgleichskasse des Kantons Solothurn und beantragte für O._ die rückwirkende Ausrichtung einer Ergänzungsleistung ab 1. Februar 1997. Dieses Gesuch erneuerte sie am 21. Oktober 1999. Mit Verfügung vom 3. November 1999 trat die Ausgleichskasse des Kantons Solothurn mangels örtlicher Zuständigkeit auf das Gesuch nicht ein, weil für die Ausrichtung der Ergänzungsleistungen der Wohnsitz zum Zeitpunkt der Anmeldung massgebend sei. B. Die hiegegen von der Einwohnergemeinde G._ erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 21. März 2001 gut und hob die angefochtene Kassenverfügung vom 3. November 1999 auf mit der Feststellung, dass die örtliche Zuständigkeit der Ausgleichskasse des Kantons Solothurn für die Festsetzung und Auszahlung der Ergänzungsleistung für O._ gegeben sei. B. Die hiegegen von der Einwohnergemeinde G._ erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 21. März 2001 gut und hob die angefochtene Kassenverfügung vom 3. November 1999 auf mit der Feststellung, dass die örtliche Zuständigkeit der Ausgleichskasse des Kantons Solothurn für die Festsetzung und Auszahlung der Ergänzungsleistung für O._ gegeben sei. C. Die Ausgleichskasse des Kantons Solothurn führt Verwaltungsgerichtsbeschwerde mit dem Antrag auf Aufhebung des vorinstanzlichen Entscheides. Die Einwohnergemeinde G._ lässt sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen. Das Bundesamt für Sozialversicherung (BSV) und der beigeladene O._ lassen sich nicht vernehmen.