Sachverhalt: A. Mit Verfügung vom 29. September 2009 setzte die IV-Stelle des Kantons Solothurn die von A._ (Jg. 1981) bisher bezogene ganze Invalidenrente mit Wirkung ab 1. Dezember 2009 auf eine Viertelsrente herab. Auf Neuanmeldung der Versicherten hin richtete die Ausgleichskasse des Kantons Solothurn ab 1. Januar 2010 wiederum Ergänzungsleistungen zur Invalidenrente aus (Verfügung vom 29. April 2010), nachdem solche auf Ende Januar 2005 zufolge eines Einnahmenüberschusses eingestellt worden waren. Das Versicherungsgericht des Kantons Solothurn hiess die gegen die Rentenherabsetzungsverfügung der IV-Stelle eingereichte Beschwerde mit Entscheid vom 21. Oktober 2010 in dem Sinne teilweise gut, als es die Sache zur ergänzenden Abklärung und anschliessenden neuen Verfügung an die Verwaltung zurückwies. Diese setzte in der Folge die Invalidenrente mit Wirkung ab 1. Dezember 2009 neu nurmehr auf eine halbe Rente herab (Verfügung vom 14. August 2012). Der Differenzbetrag zur bis 30. September 2012 ausgerichteten Viertelsrente von insgesamt Fr. 19'013.- wurde A._ nachbezahlt (Verfügungen der IV-Stelle vom 6. September 2012). Die rückwirkende Erhöhung der Invalidenrente führte zu einer - ebenfalls rückwirkenden - Neuberechnung der Ergänzungsleistungen. Mit Verfügung vom 4. Februar 2013 und Einspracheentscheid vom 27. Oktober 2014 forderte die Ausgleichskasse die im Zeitraum vom 1. Januar 2010 bis 31. Dezember 2012 unrechtmässig bezogenen Differenzbetreffnisse von insgesamt Fr. 19'392.- zwischen den ausgerichteten und den A._ tatsächlich zustehenden niedrigeren Ergänzungsleistungen von der Versicherten zurück. Diese hatte bereits mit Eingabe an die Ausgleichskasse vom 18. Juli 2013 den Rückforderungsbetrag von Fr. 19'392.- grundsätzlich anerkannt. A._ ersuchte am 6. Februar 2015 um Erlass der Rückerstattung, was von der Ausgleichskasse mit Verfügung vom 7. April 2015 und Einspracheentscheid vom 15. Juni 2015 mangels guten Glaubens beim unrechtmässigen Bezug der Ergänzungsleistungen abgelehnt wurde. B. Das Versicherungsgericht des Kantons Solothurn hiess die dagegen erhobene Beschwerde mit Entscheid vom 28. September 2016 teilweise gut, hob den Einspracheentscheid vom 15. Juni 2015 auf und erliess A._ die Rückforderung von Fr. 19'392.-, soweit diese den Betrag von Fr. 5'944.80 übersteige. Im Umfang von Fr. 5'944.80 wies das kantonale Gericht die Beschwerde ab. C. Die Ausgleichskasse führt Beschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des vorinstanzlichen Entscheids und Bestätigung ihrer Ablehnung des Erlassgesuchs. A._ lässt auf Abweisung der Beschwerde schliessen, während das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung verzichtet.