Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Gemäss Art. 30 Abs. 1 lit. a AVIG ist die versicherte Person in der Anspruchsberechtigung einzustellen, wenn sie durch eigenes Verschulden arbeitslos ist. Die Arbeitslosigkeit gilt insbesondere dann als selbstverschuldet, wenn die versicherte Person das Arbeitsverhältnis von sich aus aufgelöst hat, ohne dass ihr eine andere Stelle zugesichert war, es sei denn, dass ihr das Verbleiben an der Arbeitsstelle nicht zugemutet werden konnte (Art. 44 Abs. 1 lit. b AVIV).
Die Dauer der Einstellung bemisst sich nach dem Grad des Verschuldens (Art. 30 Abs. 3 AVIG) und beträgt 1 bis 15 Tage bei leichtem, 16 bis 30 Tage bei mittelschwerem und 31 bis 60 Tage bei schwerem Verschulden (Art. 45 Abs. 2 AVIV).
b) Nach der Rechtsprechung ist bei der Festlegung des Verschuldensgrades und der Einstellungsdauer eine Übernahme eines Teils des Schadens durch Zuwarten mit der Anmeldung zum Taggeldbezug nach Eintritt der Arbeitslosigkeit im Sinne einer Verminderung des Verschuldens zu berücksichtigen (ARV 1992 Nr. 17 S. 154 Erw. 2c, 1979 Nr. 24 S. 124 Erw. 2; Urteil I. vom 21. November 2001, C 48/01).
2.- Streitig sind der Grad des Verschuldens und die Dauer der Einstellung in der Anspruchsberechtigung.
a) Die Versicherte hat sich nicht unmittelbar nach Eintritt der Arbeitslosigkeit zum Leistungsbezug angemeldet, sondern damit rund zweieinhalb Monate zugewartet und damit einen Teil des Einkommensausfalls selbst getragen.
Das kantonale Gericht erachtete angesichts dessen ihr Verschulden in Bezug auf den Schaden, der der Arbeitslosenkasse durch die selbstverschuldete Arbeitslosigkeit entstanden ist, als vermindert und legte die Dauer der Einstellung auf 25 Tage fest, womit es ein mittelschweres statt ein schweres Verschulden zu Grunde gelegt hat. Dieses Vorgehen steht in Übereinstimmung mit der Rechtsprechung (siehe Erw. 1b).
b) Was dagegen in der Verwaltungsgerichtsbeschwerde vorgebracht wird, vermag zu keinem anderen Ergebnis zu führen.
Insbesondere gibt das darin angeführte Urteil I. vom 21. November 2001 (C 48/01), welches übrigens die frühere Rechtsprechung bestätigte und nicht etwa präzisierte, zu den von der beschwerdeführenden Behörde gezogenen Konsequenzen keinen Anlass. Im Fall I. wie im vorliegenden ist die Schadenminderung voll der versicherten Person zuzurechnen.
Die in der Verwaltungsgerichtsbeschwerde geltend gemachte Differenzierung je nachdem, ob das Ende der Arbeitslosigkeit absehbar war oder nicht, findet in der Rechtsprechung keinen Anhalt und wäre auch nicht praktikabel.
Aus BGE 113 V 154, gemäss dessen Regest die tatsächliche Dauer der Arbeitslosigkeit für die Bemessung der Einstellungsdauer keine Rolle spielt, kann die beschwerdeführende Behörde ebenfalls nichts für ihren Standpunkt ableiten, bezieht sich doch jene Aussage auf die Beendigung der Arbeitslosigkeit, die bei Erfüllung der gesetzlich geforderten intensiven Stellensuche der Einflussnahme durch die versicherte Person weitgehend entzogen ist.
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Arbeitslosenkasse der Gewerkschaft Comedia und dem Amt für Wirtschaft und
Arbeit des Kantons Solothurn zugestellt.
Luzern, 5. Juli 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Die Präsidentin der IV. Kammer:
Der Gerichtsschreiber: