Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Versicherungsgericht hat die gesetzlichen Bestimmungen zur Einstellung in der Anspruchsberechtigung bei selbstverschuldeter Arbeitslosigkeit (Art. 30 Abs. 1 lit. a AVIG und Art. 44 Abs. 1 lit. b AVIV), zur verschuldensabhängigen Dauer der Einstellung (Art. 45 Abs. 2 und 3 AVIV; vgl. auch Art. 30 Abs. 3 AVIG) sowie die dazu ergangene Rechtsprechung (BGE 124 V 234) richtig dargelegt, worauf verwiesen wird.
2.- a) Unbestrittenermassen kündigte der Beschwerdeführer seine Anstellung im Zwischenverdienst bei der Firma S._ GmbH am 29. November 2000 auf Ende Januar 2001.
In diesem Zeitpunkt besass er keine feste Zusage für eine anderweitige Stelle. Er begründete seinen Schritt damit, die Arbeitgeberfirma habe ihm gegenüber wiederholt Versprechungen, namentlich betreffend seine baldige Festanstellung, nicht eingehalten, den Lohn oft stark verspätet ausbezahlt, sich unseriös verhalten, eine schlechte Arbeitseinteilung vorgenommen und ihm gedroht. Zudem sei die Firma nahe am Konkurs gestanden. Insgesamt sei ein Verbleiben an diesem Arbeitsplatz unzumutbar geworden.
b) Auf Grund der Akten ist erwiesen, dass die Löhne nicht immer rechtzeitig ausbezahlt worden sind. Ferner steht gestützt auf das Schreiben des RAV vom 20. Juni 2001 fest, dass die S._ GmbH dem Beschwerdeführer eine dauerhafte Anstellung mit einem Pensum von 100% auf den
1. Januar 2001 versprochen hat. In Übereinstimmung mit der Vorinstanz ist davon auszugehen, dass das Verhältnis zwischen dem Versicherten und seiner Arbeitgeberfirma angespannt war, wozu auch die S._ GmbH beigetragen hat.
Weitere vom Beschwerdeführer vorgetragene Punkte lassen sich nicht erhärten, da seine Aussagen denjenigen der Firma gegenüber stehen.
Es erübrigt sich jedoch, darüber nähere Abklärungen zu treffen. Selbst wenn alle vom Beschwerdeführer erhobenen Vorwürfe zuträfen, würde dies rechtsprechungsgemäss nach wie vor keine Kündigung ohne vorherige feste Zusage einer andern Stelle rechtfertigen. Es war dem Versicherten auch unter den geltend gemachten Umständen zuzumuten, vorerst bei der S._ GmbH zu bleiben, von dort aus eine neue Stelle zu suchen und erst dann zu kündigen, wenn eine entsprechende definitive Zusage vorlag. Ein zerrüttetes Verhältnis zum Arbeitgeber reicht nicht aus, eine Stelle als unzumutbar erscheinen zu lassen (SVR 1997 AlV Nr. 105 S. 323 Erw. 2a mit Hinweisen). Indem Verwaltung und Vorinstanz die Einstellungsdauer auf 20 Tage, somit im unteren Bereich des mittelschweren Verschuldens, festgesetzt haben, trugen sie den Umständen des Falles angemessen Rechnung.
Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, dem Amt für Wirtschaft und Arbeit des Kantons Solothurn und dem Staatssekretariat
für Wirtschaft zugestellt.
Luzern, 8. Juli 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: