Sachverhalt: A. A.a. A._, reiste 1992 aus Serbien in die Schweiz ein. Ab 1999 arbeitete sie als Raumpflegerin für die Firma B._ AG im Spital C._. Am 19. März 2008 meldete sie sich bei der IV-Stelle des Kantons Solothurn wegen seit drei Jahren anhaltender Rücken- und Fussschmerzen zum Leistungsbezug an. Nach medizinischen und erwerblichen Abklärungen sprach die IV-Stelle der Versicherten mit zwei Verfügungen vom 2. Juni 2010 rückwirkend für die Dauer vom 1. Mai bis 31. Dezember 2008 bei einem Invaliditätsgrad von 100% eine ganze und mit Wirkung ab 1. Januar 2009 eine Viertelsrente basierend auf einem Invaliditätsgrad von 42% zu. Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit unangefochten in Rechtskraft erwachsenem Entscheid vom 24. März 2011 in dem Sinne gut, als es die Verfügung betreffend den Rentenanspruch ab 1. Januar 2009 aufhob und die Sache diesbezüglich im Sinne der Erwägungen zur weiteren Abklärung - insbesondere zur Einholung eines rheumatologisch-orthopädischen Gutachtens - an die Verwaltung zurück wies. A.b. Nach Durchführung der Abklärungen sprach die IV-Stelle der Versicherten rückwirkend für die befristete Dauer vom 1. Mai 2008 bis 31. Mai 2009 eine ganze Invalidenrente bei einem Invaliditätsgrad von 100% zu (Verfügung vom 30. November 2012, welche die Verfügung vom 2. Juni 2010 ersetzte). B. Die hiegegen erhobene Beschwerde der A._ hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 3. März 2015 gut, hob die angefochtene Verfügung der IV-Stelle vom 30. November 2012 auf und verpflichtete Letztere, der Versicherten auch über den 31. Mai 2009 hinaus unbefristet eine ganze Invalidenrente auszurichten. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, der angefochtene Gerichtsentscheid sei aufzuheben und die Verfügung der IV-Stelle vom 30. November 2012 vollumfänglich zu bestätigen. Zudem sei der Beschwerde die aufschiebende Wirkung zu erteilen. Während A._ unter Verzicht auf eine Stellungnahme zum Gesuch um aufschiebende Wirkung auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung. D. Mit Verfügung vom 22. Juni 2015 hat der Instruktionsrichter der Beschwerde aufschiebende Wirkung zuerkannt.