Sachverhalt:
A.
Mit Verfügung vom 29. September 2009 setzte die IV-Stelle des Kantons Solothurn die von A._ (Jg. 1981) bisher bezogene ganze Invalidenrente mit Wirkung ab 1. Dezember 2009 auf eine Viertelsrente herab. Auf Neuanmeldung der Versicherten hin richtete die Ausgleichskasse des Kantons Solothurn ab 1. Januar 2010 wiederum Ergänzungsleistungen zur Invalidenrente aus (Verfügung vom 29. April 2010), nachdem solche auf Ende Januar 2005 zufolge eines Einnahmenüberschusses eingestellt worden waren. Das Versicherungsgericht des Kantons Solothurn hiess die gegen die Rentenherabsetzungsverfügung der IV-Stelle eingereichte Beschwerde mit Entscheid vom 21. Oktober 2010 in dem Sinne teilweise gut, als es die Sache zur ergänzenden Abklärung und anschliessenden neuen Verfügung an die Verwaltung zurückwies. Diese setzte in der Folge die Invalidenrente mit Wirkung ab 1. Dezember 2009 neu nurmehr auf eine halbe Rente herab (Verfügung vom 14. August 2012). Der Differenzbetrag zur bis 30. September 2012 ausgerichteten Viertelsrente von insgesamt Fr. 19'013.- wurde A._ nachbezahlt (Verfügungen der IV-Stelle vom 6. September 2012).
Die rückwirkende Erhöhung der Invalidenrente führte zu einer - ebenfalls rückwirkenden - Neuberechnung der Ergänzungsleistungen. Mit Verfügung vom 4. Februar 2013 und Einspracheentscheid vom 27. Oktober 2014 forderte die Ausgleichskasse die im Zeitraum vom 1. Januar 2010 bis 31. Dezember 2012 unrechtmässig bezogenen Differenzbetreffnisse von insgesamt Fr. 19'392.- zwischen den ausgerichteten und den A._ tatsächlich zustehenden niedrigeren Ergänzungsleistungen von der Versicherten zurück. Diese hatte bereits mit Eingabe an die Ausgleichskasse vom 18. Juli 2013 den Rückforderungsbetrag von Fr. 19'392.- grundsätzlich anerkannt.
A._ ersuchte am 6. Februar 2015 um Erlass der Rückerstattung, was von der Ausgleichskasse mit Verfügung vom 7. April 2015 und Einspracheentscheid vom 15. Juni 2015 mangels guten Glaubens beim unrechtmässigen Bezug der Ergänzungsleistungen abgelehnt wurde.
B.
Das Versicherungsgericht des Kantons Solothurn hiess die dagegen erhobene Beschwerde mit Entscheid vom 28. September 2016 teilweise gut, hob den Einspracheentscheid vom 15. Juni 2015 auf und erliess A._ die Rückforderung von Fr. 19'392.-, soweit diese den Betrag von Fr. 5'944.80 übersteige. Im Umfang von Fr. 5'944.80 wies das kantonale Gericht die Beschwerde ab.
C.
Die Ausgleichskasse führt Beschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des vorinstanzlichen Entscheids und Bestätigung ihrer Ablehnung des Erlassgesuchs.
A._ lässt auf Abweisung der Beschwerde schliessen, während das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
1.1. Wer Ergänzungsleistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Art. 25 Abs. 1 zweiter Satz ATSG [SR 830.1] in Verbindung mit Art. 1 Abs. 1 ELG [SR 831.30]). Massgebend ist der gute Glaube während des Bezugs der unrechtmässigen Leistung (SVR 2014 IV Nr. 35 S. 126, 8C_182/2014 E. 3.5).
1.2. Für die Beurteilung, ob eine grosse Härte vorliegt, ist der Zeitpunkt massgebend, in welchem über die Rückforderung rechtskräftig entschieden ist (<ref-law> [SR 830.11]; SVR 2007 ALV Nr. 17 S. 55, C 93/05 E. 5.2 mit Hinweisen). Die grosse Härte wird (bei gleichzeitiger Festlegung von Abweichungen) unter Bezugnahme auf das ELG umschrieben (<ref-law>), und zwar in der Weise, dass eine rückerstattungspflichtige Person, welche weiterhin Ergänzungsleistungen bezieht, grundsätzlich die Erlassvoraussetzung der grossen Härte erfüllt (Urteil 9C_53/2014 vom 20. August 2014 E. 4.3; Rz. 4610.07 der Wegleitung des BSV über die Ergänzungsleistungen zur AHV und IV [WEL] in der ab 1. Januar 2014 gültigen Fassung). Besonderheiten gelten jedoch, wenn es zufolge rückwirkend ausgerichteter Rentennachzahlungen zu einer Rückforderung von Ergänzungsleistungen kommt. Im Falle einer - wie hier - unterbliebenen Verrechnung kann die Rückerstattung insoweit keine grosse Härte darstellen, als die aus den entsprechenden Nachzahlungen stammenden Mittel im Zeitpunkt, in dem die Rückzahlung erfolgen sollte (<ref-law>), noch vorhanden sind. Dies gilt indes nur für jene Fälle, in denen der versicherten Person im Nachhinein zusätzliche Leistungen aus Ansprüchen zufliessen, die sich bezüglich ihrer zeitlichen Bestimmung mit dem vorangegangenen Ergänzungsleistungsbezug decken und dessen Unrechtmässigkeit erst zutage treten lassen (<ref-ruling> E. 6d S. 228; 134 E. 3c; SVR 2007 ALV Nr. 17 S. 55, C 93/05 E. 2.3). Nichts anderes kann gelten, wenn die versicherte Person trotz Erwartung einer allfälligen Rückforderung von Ergänzungsleistungen über die Rentennachzahlungen anderweitig disponiert (SVR 2015 EL Nr. 6 S. 17, 9C_139/2015 E. 6).
2.
2.1. Die Vorinstanz hat den guten Glauben der Beschwerdegegnerin während des unrechtmässigen EL-Bezugs - nur darauf kommt es hier an (E. 1.1 hievor in fine) - zu Recht bejaht. Der Einwand der beschwerdeführenden Ausgleichskasse, wonach die Versicherte bis zur endgültigen Beantwortung der Frage nach der Höhe ihrer Invalidenrente stets mit der (später tatsächlich verfügten) rückwirkenden Rentenheraufsetzung und damit mit einer entsprechenden EL-Rückforderung rechnen musste, führt zu keiner andern Betrachtungsweise. Wie die Beschwerdegegnerin zutreffend ausführt, widerspräche es Sinn und Zweck der Ergänzungsleistungen, wenn darauf angewiesene Versicherte wegen des ungewissen Ausgangs eines hängigen Rentenverfahrens Rückstellungen vornehmen oder auf den EL-Bezug verzichten müssten, um nicht als bösgläubig zu gelten.
2.2. Das kantonale Gericht stellte fest, dass das Bankkonto der Beschwerdegegnerin nach Rentennachzahlungen von insgesamt Fr. 20'097.- einen Saldo von Fr. 39'151.95 aufgewiesen habe. Am 18. Juli 2013, als die Versicherte den EL-Rückforderungsbetrag von Fr. 19'392.- grundsätzlich anerkannte, habe sich der Saldo noch auf Fr. 24'999.75 belaufen. Aus der Differenz dieser Bankguthaben (Fr. 14'152.20) schloss die Vorinstanz, von den Rentennachzahlungen sei nur mehr ein Betrag von Fr. 5'944.80 (Fr. 20'097.- minus Fr. 14'152.20) vorhanden gewesen. In diesem Umfang sei die grosse Härte zu verneinen, im darüber hinausgehenden Betrag hingegen zu bejahen, womit der Beschwerdegegnerin die Rückerstattung im Betrag von Fr. 13'477.20 (Fr. 19'392.- minus Fr. 5'944.80) zu erlassen sei.
2.3. Vorab ist festzuhalten, dass sich die Nachzahlungen der bis Ende September 2012 zu wenig entrichteten Rentenbeträge entgegen der vorinstanzlichen Feststellung nicht auf Fr. 20'097.- beliefen, sondern nur auf Fr. 19'013.-. Das kantonale Gericht hat die in der Nachzahlungsverfügung vom 6. September 2012 ebenfalls angeführte halbe Invalidenrente für Oktober 2012 in Höhe von Fr. 1'084.- (einschliesslich Kinderrente) fälschlicherweise zum Rentennachzahlungsbetrag hinzugerechnet. Dieses offenkundige Versehen ist letztinstanzlich zu berichtigen (<ref-law>). Des Weitern ist fraglich, inwieweit sich anhand des hievor dargelegten vorinstanzlichen Vergleichs der Bankguthaben tatsächlich eruieren lässt, wie viel der aus den Rentennachzahlungen stammenden Mittel seinerzeit noch vorhanden waren. Immerhin lagen am 18. Juli 2013 noch Fr. 24'999.75 auf dem Bankkonto, mithin ein Betrag, der höher war als die nachbezahlten Fr. 19'013.- und der an sich die Begleichung der EL-Rückforderung von Fr. 19'392.- vollumfänglich zugelassen hätte. Dieser Frage braucht indessen nicht weiter nachgegangen zu werden. Die Vorinstanz hat nämlich übersehen, dass hier ein Anwendungsfall der in E. 1.2 hievor in fine zitierten Rechtsprechung zu beurteilen ist.
2.4. Der Beschwerdegegnerin wurde Anfang 2010, als sie sich wiederum zum Bezug von Ergänzungsleistungen anmeldete, deutlich vor Augen geführt, wie sich die Höhe der zugesprochenen Invalidenrente unmittelbar auf die EL-Berechtigung auswirkt. Damals führte u.a. die Herabsetzung der ganzen auf eine Viertelsrente zum neuerlichen EL-Anspruch. Anlässlich der am 14. August 2012 verfügten rückwirkenden Erhöhung der Viertels- auf eine halbe Rente ab 1. Dezember 2009 und der anschliessenden Nachzahlungen der entsprechenden Differenzbetreffnisse (Verfügungen vom 6. September 2012) wusste demnach die Versicherte oder hätte wissen müssen, dass als Kehrseite der Medaille eine rückwirkende EL-Herabsetzung mit entsprechender Rückforderung der zuviel bezogenen Leistungen bevorstand. Wer trotz Erwartung einer solchen kompensatorischen Verfügung der EL-Behörden über die Rentennachzahlungen anderweitig disponiert (so liess die Beschwerdegegnerin am 26. November 2012 vom erwähnten Bankkonto Fr. 10'000.- an ihren Vater überweisen), kann sich von vornherein nicht auf einen wirtschaftlichen Härtefall berufen (SVR 2015 EL Nr. 6 S. 17, 9C_139/2015 E. 6). Ein Erlass der Rückforderung von Fr. 19'392.- fällt somit im Umfang der nachbezahlten Invalidenrenten ausser Betracht. Zu berücksichtigen ist allerdings, dass die Renten (nach) zahlungen und der - wie sich im Nachhinein herausstellte - unrechtmässige EL-Bezug in zeitlicher Hinsicht nicht vollständig übereinstimmen. Der Versicherten wurde auch das Differenzbetreffnis für Dezember 2009 von Fr. 532.- nachbezahlt. Weil demgegenüber die (zu hohen) Ergänzungsleistungen erst ab 1. Januar 2010 einsetzten, ist dieser Betrag von der gesamten Rentennachzahlung von Fr. 19'013.- in Abzug zu bringen. Im Umfang des Restbetrags von Fr. 18'481.- bleibt es nach dem Gesagten bei der Rückerstattungspflicht der Beschwerdegegnerin. Ein Härtefall und damit ein Teilerlass ist lediglich im Umfang von Fr. 911.- zu bejahen, nämlich insoweit, als die EL-Rückforderung von Fr. 19'392.- von den Rentennachzahlungen ab 1. Januar 2010 (insgesamt Fr. 18'481.-) nicht gedeckt wird (vgl. E. 1.2 hievor mit dem Hinweis auf das Urteil 9C_53/2014 vom 20. August 2014 E. 4.3).
3.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten vollumfänglich der Beschwerdegegnerin aufzuerlegen (<ref-law>). Sie obsiegt in solch geringem Umfang, dass sich weder eine Reduktion der Gerichtskosten noch eine Parteientschädigung rechtfertigt.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 28. September 2016 und der Einspracheentscheid der Ausgleichskasse des Kantons Solothurn vom 15. Juni 2015 werden dahin gehend abgeändert, als der Beschwerdegegnerin die Rückforderung von Fr. 19'392.- im Umfang von Fr. 911.- erlassen wird. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 1'500.- werden der Beschwerdegegnerin auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Solothurn zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Oktober 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Attinger