Sachverhalt:
A.
Am 6. Februar 2020 liess die Helvetia Sammelstiftung für Personalvorsorge (nachstehend: Helvetia) vor dem Versicherungsgericht des Kantons Solothurn Klage gegen A._ betreffend Beiträge an die berufliche Vorsorge erheben. Mit Urteil vom 8. April 2020 verpflichtete das kantonale Gericht A._ in teilweiser Gutheissung der Klage, der Helvetia den Betrag von Fr. 5120.10 zuzüglich 5 % Zins seit 1. April 2019 auf den Betrag von Fr. 1212.40 sowie seit 1. November 2019 auf den Betrag von Fr. 3107.70 zu bezahlen. Zudem hob es den in der Betreibung Nr. xxx des Betreibungsamtes Region Solothurn erhobenen Rechtsvorschlag im Umfang der zugesprochenen Forderung auf. Auf Beschwerde des A._ hin hob das Bundesgericht mit Urteil 9C_289/2020 vom 23. September 2020 dieses kantonale Urteil wegen Verletzung des rechtlichen Gehörs auf und wies die Sache zu erneutem Entscheid an das Versicherungsgericht zurück.
B.
Nach Durchführung des Schriftenwechsels hiess das kantonale Gericht die Klage erneut teilweise gut und verpflichtete A._, der Helvetia einen Betrag von insgesamt Fr. 5174.20 zuzüglich Zins zu 5 % ab dem 28. November 2019 auf dem Betrag von Fr. 4320.10 zu bezahlen. Zudem hob es den in der Betreibung Nr. xxx des Betreibungsamtes Region Solothurn erhobenen Rechtsvorschlag im Umfang der zugesprochenen Forderung auf (Urteil vom 28. Januar 2021).
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt sinngemäss, das Urteil vom 28. Januar 2021 sei aufzuheben und die Klage vom 6. Dezember 2020 sei vollumfänglich abzuweisen. Weiter ersucht A._ um unentgeltliche Rechtspflege (im Sinne der unentgeltlichen Verbeiständung und der Befreiung von den Gerichtskosten).

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.
Streitig sind Ansprüche der Helvetia gegen den Beschwerdeführer als Arbeitgeber aus beruflicher Vorsorge. Zu prüfen ist dabei mit Blick auf die Vorbringen in der Beschwerde, ob das kantonale Gericht Bundesrecht verletzte, als es von einem gültig zustande gekommenen Anschlussvertrag zwischen der Vorsorgeeinrichtung und dem Beschwerdeführer ausging.
3.
3.1. Der Arbeitgeber, der obligatorisch zu versichernde Arbeitnehmer beschäftigt, muss eine in das Register für die berufliche Vorsorge eingetragene Vorsorgeeinrichtung errichten oder sich einer solchen anschliessen (Art. 11 Abs. 1 BVG). Verfügt der Arbeitgeber nicht bereits über eine Vorsorgeeinrichtung, so wählt er eine solche im Einverständnis mit seinem Personal oder der allfälligen Arbeitnehmervertretung (Art. 11 Abs. 2 BVG).
3.2. Beim Anschlussvertrag zwischen einem Arbeitgeber und einer Vorsorgeeinrichtung handelt es sich um einen Innominatvertrag sui generis im engeren Sinne (<ref-ruling> E. 4a). Der Anschlussvertrag begründet ein privatrechtliches Verhältnis (<ref-ruling> E. 3.5). Auf diesen sind die Bestimmungen des Obligationenrechts über das Zustandekommen von Verträgen (Art. 1 ff. OR) anwendbar (Urteile 9C_640/2018 vom 15. Januar 2019 E. 5.1, 9C_834/2013 vom 19. Mai 2014 E. 4.1, in: SVR 2015 BVG Nr. 4 S. 12 und 9C_128/2011 vom 16. November 2011 E. 4.2, in: SVR 2012 BVG Nr. 17 S. 73).
3.3. Zum Abschlusse eines Vertrages ist die übereinstimmende gegenseitige Willensäusserung der Parteien erforderlich (Art. 1 Abs. 1 OR). Sie kann eine ausdrückliche oder stillschweigende sein (Art. 1 Abs. 2 OR). Verträge bedürfen zu ihrer Gültigkeit nur dann einer besonderen Form, wenn das Gesetz eine solche vorschreibt (Art. 11 Abs. 1 OR).
4.
4.1. In formeller Hinsicht macht der Beschwerdeführer geltend, das kantonale Gericht habe seinen Anspruch auf rechtliches Gehör und auf ein faires Verfahren verletzt, indem es die von ihm angebotenen Beweise nicht abgenommen habe. Diese Rüge ist unbegründet. Gemäss einem allgemeinen Grundsatz ist lediglich über Tatsachen, welche für den Ausgang des Verfahrens erheblich sind, Beweis zu führen (<ref-ruling> E. 5.1 mit Hinweisen). Es stellt keine Verletzung der Parteirechte dar, wenn das kantonale Gericht auf die Abnahme jener Beweismittel verzichtet, bei denen sie die zu beweisende Tatsache als für den Ausgang des Verfahrens unerheblich erachtet. Ob die Vorinstanz demgegenüber Bundesrecht verletzte, als sie die gemäss Beschwerdeführer zu beweisenden Tatsachen als irrelevant beurteilte, stellt keine Frage des rechtlichen Gehörs, sondern der materiellen Beurteilung der streitigen Ansprüche dar. Darauf ist im Nachfolgenden einzugehen.
4.2. Das kantonale Gericht bejahte - insbesondere unter Bezugnahme auf die bei den Akten liegende Kopie der Vertragsurkunde - das Zustandekommen eines gültigen Anschlussvertrages. Was der Beschwerdeführer dagegen vorbringt, verfängt nicht.
4.2.1. Gemäss verbindlicher vorinstanzlicher Sachverhaltsfeststellung (vgl. E. 1) beschäftigte der Beschwerdeführer im Jahr 2019 eine Arbeitnehmerin. Damit war er zum Abschluss eines Anschlussvertrages verpflichtet (vgl. E. 3.1). An dieser Verpflichtung nichts zu ändern vermag das Verhalten der Ausgleichskasse des Kantons Solothurn, womit die diesbezüglichen Vorbringen des Beschwerdeführers ins Leere zielen.
4.2.2. Zum Abschluss eines Anschlussvertrages bedarf es lediglich der übereinstimmenden Willensäusserung der Parteien (vgl. E. 3.3). Eine solche erfolgte von Seiten der Vorsorgeeinrichtung am 15. April 2019, von Seiten des Beschwerdeführers (und der Arbeitnehmervertreterin) am 20. Mai 2019 durch Unterzeichnung der Vertragsurkunde. Damit ist der Vertrag zustande gekommen. Ob der Beschwerdeführer weitere Unterlagen, welche gemäss seinen Vorbringen von der Vorsorgeeinrichtung nach Vertragsabschluss üblicherweise verschickt werden, tatsächlich erhalten hat, ist demgegenüber nicht relevant. Da der Anschlussvertrag keinen gesetzlichen Formvorschriften unterliegt und die Vorsorgeeinrichtung bereit ist, den Vertrag integral gegen sich gelten zu lassen, schadet es auch nicht, dass die allgemeinen Vertragsbestimmungen bei der in den Akten liegenden Kopie der Vertragsdokumente lediglich vom Beschwerdeführer, nicht aber von der Vorsorgeeinrichtung unterzeichnet wurden.
4.3. Nach dem Gesagten verletzte das kantonale Gericht kein Bundesrecht, als es von einem gültig zustande gekommenen Anschlussvertrag zwischen den Parteien des vorliegenden Verfahrens ausging. Die Beschwerde ist somit unbegründet.
5.
5.1. Gemäss Art. 42 Abs. 1 und 2 BGG hat ein Rechtsmittel unter anderem die Begehren und deren Begründung zu enthalten, wobei in der Begründung in gedrängter Form darzulegen ist, inwiefern der angefochtene Akt Recht verletzt. Der Beschwerdeführer war - gemäss eigenen Vorbringen ohne anwaltliche Vertretung - in der Lage, eine diesen inhaltlichen Mindestanforderungen genügende Beschwerdeschrift innert der nach Art. 47 Abs. 1 BGG nicht erstreckbaren Rechtsmittelfrist einzureichen. Da zudem vom Bundesgericht keine weiteren Verfahrensschritte angeordnet wurden, ist sein Gesuch um unentgeltliche Verbeiständung mangels Gebotenheit einer anwaltlichen Vertretung (Art. 64 Abs. 2 BGG) abzuweisen.
5.2. Umständehalber wird auf die Erhebung von Gerichtskosten verzichtet (Art. 66 Abs. 1 Satz 2 BGG), womit das Gesuch um unentgeltliche Prozessführung gegenstandslos wird.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen, soweit es nicht gegenstandslos geworden ist.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. August 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Stanger