Sachverhalt:
A.
Am 6. Februar 2020 liess die Helvetia Sammelstiftung für Personalvorsorge Klage gegen A._ betreffend Beiträge an die berufliche Vorsorge erheben. Mit Verfügung vom 10. Februar 2020 setzte das Versicherungsgericht des Kantons Solothurn A._ Frist bis 9. März 2020 zur Einreichung einer Klageantwort. Am 2. April 2020 stellte es fest, dass der Kläger (recte: Beklagte) sich nicht habe vernehmen lassen. Mit Entscheid vom 8. April 2020 verpflichtete es A._ in teilweiser Gutheissung der Klage, der Helvetia Sammelstiftung für Personalvorsorge den Betrag von Fr. 5120.10 zuzüglich 5 % Zins seit 1. April 2019 auf den Betrag von Fr. 1212.40 sowie seit 1. November 2019 auf den Betrag von Fr. 3107.70 zu bezahlen. Zudem hob es den in der Betreibung erhobenen Rechtsvorschlag im Umfang der zugesprochenen Forderung auf.
B.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Rechtsbegehren, der Entscheid vom 8. April 2020 sei aufzuheben und die Sache zur erneuten Entscheidung durch andere Personen des Versicherungsgerichts des Kantons Solothurn zurückzuweisen; "hilfsweise" sei die Begründung des Entscheids als willkürlich zu erklären; gegebenenfalls sei die Vizepräsidentin C._ als befangen zu befinden. Zur Begründung führte er aus, das kantonale Gericht habe ihn nicht über ein hängiges Verfahren informiert, sodass er seine Parteirechte nicht habe ausüben können.
Das Versicherungsgericht des Kantons Solothurn beantragt die Abweisung der Beschwerde. Die Helvetia Sammelstiftung für Personalvorsorge und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Mit Eingabe vom 3. Juni 2020 beantragt A._ unentgeltliche Prozessführung.

Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts durch die Vorinstanz nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
2.
Der Beschwerdeführer macht geltend, erst mit der Zustellung des (End-) Entscheides vom 8. April 2020 sei er darüber in Kenntnis gesetzt worden, dass gegen ihn vor dem kantonalen Gericht ein Klageverfahren hängig gewesen sei. Eine Partei, die nichts von einer Klage wisse, könne keine "Gegenerklärung" abgeben. Sein Recht auf ein faires Verfahren wie auch jenes auf rechtliches Gehör und auf ein unabhängiges Gericht seien verletzt worden.
3.
3.1. Gemäss Art. 29 Abs. 1 und 2 BV und Art. 6 Ziff. 1 EMRK haben die Parteien eines Gerichtsverfahrens Anspruch auf ein faires Verfahren sowie auf rechtliches Gehör. Letzteres umfasst das Recht einer Partei, von sämtlichen Eingaben der Gegenpartei Kenntnis zu erhalten und sich dazu äussern zu können (sog. Replikrecht; <ref-ruling> E. 3.2 S. 191 f.; <ref-ruling> E. 2.1 S. 485 f.; <ref-ruling> E. 2.3.1 S. 197; <ref-ruling> E. 4.6 S. 105).
3.2.
3.2.1. Nach § 21 Abs. 1 des Gesetzes (des Kantons Solothurn) vom 15. November 1970 über den Rechtsschutz in Verwaltungssachen (Verwaltungsrechtspflegegesetz; BGS 124.11) sind Verfügungen und Entscheide den Parteien schriftlich zu eröffnen, so weit nötig oder durch Gesetz vorgeschrieben zu begründen und mit einer Rechtsmittelbelehrung zu versehen.
3.2.2. Wird die Tatsache oder das Datum der Zustellung uneingeschriebener Sendungen bestritten, muss im Zweifel auf die Darstellung des Empfängers abgestellt werden, sofern der Beweis für die Zustellung nicht anderweitig erbracht werden kann (Urteil 9C_815/2015 vom 8. August 2016 E. 2.2 mit Hinweisen).
4.
4.1. Mit Verfügung vom 10. Februar 2020 setze das kantonale Gericht dem Beschwerdeführer Frist bis 9. März 2020 zur Einreichung einer Klageantwort. Dieser Verfügung ist zu entnehmen, dass der Versand an das Einzelunternehmen B._ - dessen Inhaber der Beschwerdeführer ist (vgl. vorinstanzliche Erwägung 1.1) - per A-Post mit Empfangsbescheinigung erfolgte. Ein entsprechender Zustellnachweis liess sich indes in den kantonalen Akten nicht finden. Auf entsprechende Nachfrage hin teilte die Vorinstanz dem Bundesgericht mit, es liege für die Zustellung der Verfügung vom 10. Februar 2020 keine Empfangsbescheinigung vor. Ebenso fehlt in den Akten ein Zustellnachweis für die Verfügung vom 2. April 2020, mit welcher das kantonale Gericht festgestellt hatte, dass der Beschwerdeführer sich nicht habe vernehmen lassen. Gemäss Verteiler erfolgte der Versand dieser Verfügung an den Beschwerdeführer per B-Post.
4.2. Mit Blick auf diese Ausführungen steht fest, dass sich die Zustellung der gerichtlichen Verfügungen vom 10. Februar und 2. April 2020 an den Beschwerdeführer nicht nachweisen lässt. Vor diesem Hintergrund ist auf dessen Darstellung abzustellen, wonach er (überhaupt) erst durch den - per Gerichtsurkunde zugestellten - Entscheid vom 8. April 2020 Kenntnis vom vorinstanzlichen Verfahren erlangt hatte. Damit liegt auf der Hand, dass seine Verfahrensrechte verletzt wurden. Demzufolge ist die Beschwerde begründet und die Sache ist an die Vorinstanz zu neuer Entscheidung unter Einbezug des Beschwerdeführers ins Verfahren zurückzuweisen. Das kantonale Gericht wird gegebenenfalls auch über das Ausstandsbegehren des Beschwerdeführers zu befinden haben.
5.
Eine Rückweisung zu erneutem Entscheid mit offenem Ausgang gilt in Bezug auf die Verfahrenskosten als Obsiegen (<ref-ruling> E. 7.1 S. 271). Die unterliegende Beschwerdegegnerin hat die Gerichtskosten zu tragen (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Prozessführung erweist sich demzufolge als gegenstandslos. Weiter hat er keinen Anspruch auf Parteientschädigung (<ref-law>), da er nicht anwaltlich vertreten ist und keine besonderen Verhältnisse vorliegen, die eine Entschädigung für weitere Umtriebe rechtfertigen (Urteil 9C_631/2019 vom 19. Juni 2020 E. 6).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 8. April 2020 wird aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 1000.- werden der Beschwerdegegnerin auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. September 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Stanger