Sachverhalt:
A.
Der 1946 geborene A._, seit Juli 2009 vorzeitig pensioniert, bezog ab dem 1. August 2004 unter anderem Ergänzungsleistungen und kantonale Beihilfen zu seiner Invalidenrente (Verfügungen des Amts für Sozialbeiträge Basel-Stadt vom 3. Mai 2007). Im Rahmen periodischer Überprüfungen dieser Ansprüche (mittels Fragebogen und persönlichem Gespräch) am 22. September 2009 und am 3. Februar 2015 verneinte er die Fragen nach einer Lebensversicherung bzw. Freizügigkeitspolice oder einer Rentenversicherung im In- und Ausland sowie nach übrigem Vermögen; diese Angaben bestätigte er jeweils unterschriftlich. Erst anlässlich einer weiteren periodischen Überprüfung vom 15. Juni 2018 deklarierte A._ auf entsprechende Nachfrage hin eine am 2. Oktober 2009 auf seinem Privatkonto bei der B._ AG Bank gutgeschriebene BVG-Kapitalauszahlung in Höhe von Fr. 160'000.- (tatsächlich betrug diese Fr. 162'337.50).
In der Folge nahm das Amt für Sozialbeiträge Basel-Stadt eine rückwirkende Neuberechnung der Leistungen vor. Es erhob bei A._ Rückforderungen für Ergänzungsleistungen (Fr. 11'691.-), kantonale Beihilfe (Fr. 4275.-), Beiträge für Nichterwerbstätige (Fr. 562.-), Prämienverbilligung (Fr. 11'445.80) und Krankheitskosten (Fr. 1296.55; Verfügungen vom 6. November 2018). Daran hielt die Verwaltung mit Einspracheentscheid vom 25. April 2019 fest.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt ab, soweit es darauf eintrat (Entscheid vom 4. Februar 2020).
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es seien der angefochtene Entscheid, der Einspracheentscheid vom 25. April 2019 sowie die Rückforderungsverfügungen vom 6. November 2018 aufzuheben und auf jegliche Rückforderungen zu verzichten; eventualiter sei die Sache zum Erlass eines Entscheids in diesem Sinne an die Vorinstanz zurückzuweisen. Weiter ersucht er um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren sowie um Gewährung der aufschiebenden Wirkung.
Das Amt für Sozialbeiträge Basel-Stadt und das Bundesamt für Sozialversicherungen liessen sich nicht vernehmen.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
1.2. Der Beschwerdeführer beantragt unter anderem die Aufhebung der Verfügungen vom 6. November 2018. Damit verkennt er, dass Anfechtungsgegenstand des vorinstanzlichen Verfahrens einzig der an deren Stelle getretene Einspracheentscheid vom 25. April 2019 bildete (<ref-ruling> E. 4.2.2 S. 55; <ref-ruling> E. 2.1.2.1 S. 411 f.). Soweit die Verfügungen vom 6. November 2018 betreffend, ist demnach auf die Beschwerde nicht einzutreten.
2.
2.1. Unrechtmässig bezogene Leistungen sind zurückzuerstatten (<ref-law>). Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Wird der Rückerstattungsanspruch aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese Frist massgebend (<ref-law>; <ref-ruling> E. 5.2 S. 79 f.).
2.2. Ist die Strafverfolgung aufgenommen und bereits rechtskräftig (mit Urteil oder Einstellungsverfügung) abgeschlossen worden, so ist die über den Rückforderungsanspruch befindende Behörde an diesen Entscheid der Straf (verfolgungs) behörde gebunden. Fehlt es indessen an einem solchen Entscheid, haben die Verwaltung und gegebenenfalls das Sozialversicherungsgericht - sofern das Verfahren nicht bis zum Vorliegen eines strafrechtlichen Entscheids ausgesetzt wird - vorfrageweise selbst darüber zu befinden, ob sich die Rückforderung aus einer strafbaren Handlung herleitet und der Täter dafür strafbar wäre. Dabei gelten die gleichen beweisrechtlichen Anforderungen wie im Strafverfahren, so dass der sonst im Sozialversicherungsrecht geltende Beweisgrad der überwiegenden Wahrscheinlichkeit nicht ausreicht; zudem gilt die Unschuldsvermutung (<ref-ruling> E. 2 S. 86; <ref-ruling> E. 2a S. 40). Unterbleibt eine Strafanzeige, so bestehen rechtsprechungsgemäss erhebliche Zweifel am Vorliegen einer strafbaren Handlung (<ref-ruling> E. 4a S. 259; Urteil 8C_118/2012 vom 11. September 2012 E. 5.5). Auf jeden Fall hat die Behörde, die sich auf die strafrechtliche Verjährungsfrist beruft, Aktenmaterial zu produzieren, welches das strafbare Verhalten hinreichend ausweist. Erforderlich ist, dass eine objektiv strafbare Handlung vorliegt und dass die auf Rückerstattung belangte Person resp. deren Organ die strafbare Handlung begangen hat und die subjektiven Strafbarkeitsvoraussetzungen erfüllt (Urteil 8C_580/2018 vom 9. Januar 2019 E. 4.3.3 mit Hinweis auf <ref-ruling> E. 6.1 S. 80).
3.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie den Einspracheentscheid vom 25. April 2019 betreffend Rückforderung schützte.
3.1. In Ermangelung eines strafrechtlichen Urteils (soweit aktenkundig, fehlt es auch an einer Strafanzeige) prüfte das kantonale Gericht vorfrageweise, ob sich der Beschwerdeführer eines Betrugs nach <ref-law> strafbar gemacht hatte. Es bejahte sämtliche dazu erforderlichen objektiven Tatbestandselemente (arglistige Täuschung, Irrtum, Verfügung, Schaden). In Bezug auf die Täuschung führte die Vorinstanz aus, das Verschweigen der Kapitalleistung stelle keine Unterlassung dar, sondern das Unterdrücken einer leistungsrelevanten Tatsache und damit ein aktives Tun. Die Beantwortung der Frage, ob auf Seiten des Beschwerdeführers eine Garantenpflicht bestanden habe, könne somit offen bleiben. Das kantonale Gericht bejahte auch den subjektiven Tatbestand (Bereicherungsabsicht und Vorsatz). So habe der Beschwerdeführer spätestens nach dem Schreiben der Pensionskasse vom 2. September 2009 betreffend seine Austrittsleistung, welche ohne seinen Gegenbericht bis Mitte September an eine Freizügigkeitsstiftung überwiesen werde, um seinen Anspruch auf weiteres Vermögen gewusst. Dennoch habe er die Austrittsleistung jahrelang, namentlich im Rahmen zweier periodischer Überprüfungen in den Jahren 2009 und 2015, verschwiegen. Zudem habe er von der erhaltenen Kapitalleistung nur sieben Tage später Fr. 160'000.- abgehoben, um deren Bestand und Erhalt zu verdunkeln. Weil sich der Beschwerdeführer somit des vorsätzlichen Betrugs im Sinne von <ref-law> schuldig gemacht habe, sei für die Frage nach der Verwirkung der Rückforderung gemäss <ref-law> (in Verbindung mit Art. 97 Abs. 1 lit. b) die absolute Frist von 15 Jahren massgeblich. Die Vorinstanz verneinte des Weiteren eine eventualiter beantragte Reduktion des Rückforderungsbetrags, weil die geltend gemachten Ausgaben nicht rechtsgenüglich beziffert und belegt und ohne rechtliche beziehungsweise sittliche Verpflichtung geleistet worden seien. Auf weitere Eventualbegehren betreffend die Vollstreckung der Rückforderung trat das kantonale Gericht wegen Fehlens eines Anfechtungsobjekts nicht ein.
3.2. Der Beschwerdeführer rügt eine Verletzung von <ref-law> sowie eine willkürliche Feststellung des Sachverhalts. Zur Begründung führt er aus, es stehe nicht hinreichend fest, dass er die Auszahlung der Pensionskassengelder vor dem 2. Oktober 2009 beantragt oder überhaupt um deren Abrufbarkeit gewusst habe. Dies sei nach dem Grundsatz in dubio pro reo zu seinen Gunsten auszulegen, womit es an einer Täuschungsabsicht fehle. Des Weiteren macht er geltend, es sei im Fragekatalog vom 22. September 2009 nach dem Vermögensstand per Ende 2008 gefragt worden. Zu diesem Zeitpunkt habe die Austrittsleistung der Pensionskasse unbestritten noch nicht zu seinem Vermögen gehört. Das kantonale Gericht habe zudem seine Einwände übergangen, wonach er als juristischer Laie davon habe ausgehen dürfen, dass eine PK-Austrittsleistung erst nach effektiver Auszahlung zu seinem Vermögen gehöre. Das kantonale Gericht habe diesbezüglich grundlos vorsätzliches Handeln angenommen.
4.
4.1. Es steht fest, dass der Beschwerdeführer die Beschwerdegegnerin über die am 2. Oktober 2009 erfolgte Kapitalauszahlung der Pensionskasse in der Höhe von Fr. 162'337.50 hätte orientieren müssen (<ref-law>; zur Pflicht des Leistungsbezügers, dem Versicherer jede wesentliche Änderung in den für eine Leistung massgebenden Verhältnissen zu melden, vgl. <ref-ruling> E. 2.4.4 S. 16 f.); eine Verletzung seiner Meldepflicht stellt denn auch der Beschwerdeführer nicht in Abrede. Ein über diesen Tatbestand hinausgehendes täuschendes Verhalten durch unwahre Angaben oder anderes aktives Verhalten liegt indessen nicht vor. Wie der Beschwerdeführer richtig einwendet, ist eine Täuschungshandlung insbesondere nicht schon darin zu sehen, dass er trotz erfolgter Kapitalauszahlung weiterhin Versicherungsleistungen entgegengenommen hat. Der Entgegennahme solcher kommt rechtsprechungsgemäss auch konkludent kein positiver Erklärungswert zu. Etwas anders könnte nur gelten, wenn zum Leistungsbezug bzw. -empfang weitere Handlungen hinzuträten, welchen objektiv die Erklärung beizumessen wäre, es habe sich nichts an den Anspruchsvoraussetzungen geändert (<ref-ruling> E. 2.4.1 S. 15). Entgegen den Feststellungen im angefochtenen Entscheid fehlt es an solchen Handlungen: Wie das kantonale Gericht zutreffend erwogen hat, war wohl der Fragebogen im Rahmen der periodischen Überprüfung vom September 2009 darauf ausgelegt, die Einkommens- und Vermögensverhältnisse vollständig und lückenlos zu erfassen, was bereits aus der abschliessenden Auffangfrage nach "sonstigem Vermögen" erhellt. Die im Erhebungsbogen gestellten Fragen bezogen sich aber auf die Einkommens- und Vermögensverhältnisse bis zum 31. Dezember 2008 (dasselbe gilt im Übrigen für die Hinweise im Einladungsschreiben vom 4. September 2009). Insbesondere wurde in Ziffer 8 des Erhebungsbogens ausdrücklich nach dem "Vermögen (Stand 31.12.) " gefragt. Es besteht offensichtlich kein Grund zur Annahme, in den Folgefragen zum Vermögen (betreffend Lebensversicherungen, Freizügigkeitspolicen, Rentenversicherungen und sonstigem Vermögen) sei nach dem Vermögensstand zu einem späteren Zeitpunkt, namentlich ab dem 1. Januar 2009 gefragt worden; entsprechende Hinweise fehlen im Fragebogen vollends. Es ist auch nicht ersichtlich oder im angefochtenen Entscheid festgestellt, dass derlei Fragen im Rahmen des am 22. September 2009 persönlich mit dem Beschwerdeführer geführten (nicht protokollierten) Gesprächs erörtert worden wären. Mit Blick darauf ist der vorinstanzliche Schluss unhaltbar, die Beschwerdegegnerin habe im Fragebogen die vollständige und lückenlose Kenntnis über alle Vermögens- und Einkommensbestandteile auch ab dem 1. Januar 2009 in Erfahrung bringen wollen. Wurde der Beschwerdeführer aber nicht nach den Vermögensverhältnissen ab dem Januar 2009 gefragt, kann er diesbezüglich keine unwahren Angaben gemacht haben.
Aktenkundig ergibt sich ein Interesse der Verwaltung an den Einkommens- und Vermögensverhältnissen des Jahres 2009 erst aus den im Anschluss an die Befragung getätigten schriftlichen Nachfragen (zu einem Sparkonto bei der B._ AG Bank sowie zu der Höhe der Altersrente aus beruflicher Vorsorge). Dem Beschwerdeführer werden aber betreffend diese Nachfragen keine unwahren Angaben vorgeworfen.
4.2. Im Rahmen der zweiten periodischen Überprüfung vom 3. Februar 2015 wurde der Beschwerdeführer nach seinen Vermögensverhältnissen per 31. Dezember 2014 befragt. Anders als anlässlich der dritten Überprüfung im Jahr 2018, bei welcher der Beschwerdeführer die 2009 erfolgte Kapitalauszahlung korrekt deklarierte, wurde er 2015 nicht danach gefragt, ob er von der Pensionskasse jemals (Hervorhebung im Original) eine Kapitalauszahlung erhalten habe. Insofern der Beschwerdeführer geltend macht, die Beschwerdegegnerin habe im Einspracheentscheid vom 25. April 2019 Gegenteiliges behauptet, ist darauf nicht näher einzugehen, bildet doch einzig der kantonale Entscheid vom 4. Februar 2020 Anfechtungsobjekt des vorliegenden Verfahrens (<ref-law>). Darin finden sich diesbezüglich keine Feststellungen. Ein über den Tatbestand der Meldepflichtverletzung hinausgehendes täuschendes Verhalten durch unwahre Angaben oder ein anderes aktives Verhalten lässt sich auch dem Bericht betreffend die periodische Überprüfung vom 3. Februar 2015 nicht entnehmen. Ebenso wenig ist ein solches Verhalten anlässlich des gleichentags mit dem Beschwerdeführer persönlich geführten (nicht protokollierten) Gesprächs ersichtlich oder im angefochtenen Entscheid festgestellt.
4.3. Zusammenfassend fehlt es bereits an einem täuschenden Verhalten durch unwahre Angaben oder ein anderes aktives Verhalten des Beschwerdeführers. Damit erschöpft sich sein Verhalten in der Missachtung von Meldepflichten, womit einzig Betrug durch Unterlassen in Betracht kommt. Ein solcher ist nur unter den Voraussetzungen eines unechten Unterlassungsdelikts strafbar und mithin nur durch denjenigen Täter möglich, den gegenüber dem Geschädigten eine qualifizierte Rechtspflicht zum Handeln im Sinne einer Garantenpflicht trifft. Eine solche lässt sich nicht aus Meldepflichten ableiten (<ref-ruling> E. 2.3.2 S. 14 und E. 2.4.3 S. 16; je mit Hinweisen). Folglich braucht auf die weiteren Tatbestandselemente des Betrugs (unter Berücksichtigung der mit Blick auf die wohl fehlende Strafanzeige generell bestehenden Zweifel am Vorliegen einer strafbaren Handlung; vgl. E. 2.2 hievor) nicht näher eingegangen zu werden. Insbesondere kann offen bleiben, ob der Beschwerdeführer der vorinstanzlichen Argumentation folgend bereits im Zeitpunkt der periodischen Überprüfung vom September 2009 über den Anspruch auf Austrittsleistungen der Pensionskasse im Bilde war und ob er darum wusste, dass bereits die Entstehung des (fälligen) Anspruchs und nicht erst die im Oktober 2009 erfolgte effektive Auszahlung der Kapitalleistung diese zum Vermögensbestandteil werden lässt. In Bezug auf Letzteres braucht auch nicht näher auf die zumindest sinngemäss geltend gemachte Verletzung des rechtlichen Gehörs eingegangen zu werden.
5.
Da der Rückerstattungsanspruch nicht aus einer strafbaren Handlung hergeleitet wird, ist die von der Vorinstanz gestützt auf Art. 25 Abs. 2 Satz 2 i.V.m. Art. 97 Abs. 1 und <ref-law> zur Anwendung gebrachte strafrechtliche Verwirkungsfrist nicht massgebend. Dazu, ob und inwieweit die Rückforderung unter Anwendung der massgebenden Fristen (insbesondere derjenigen von <ref-law>) verwirkt ist, haben sich weder Vorinstanz noch Parteien geäussert. Aus Rechtsschutzgründen (kein Verlust der ersten und einzigen Instanz mit freier Beweiswürdigung) ist die Sache zur Klärung dieser Frage an die Vorinstanz zurückzuweisen.
6.
Mit dem Entscheid in der Hauptsache wird das Gesuch des Beschwerdeführers um aufschiebende Wirkung gegenstandslos.
7.
7.1. Die Rückweisung der Sache an die Vorinstanz mit noch offenem Ausgang gilt für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 Satz 1 sowie Art. 68 Abs. 1 und 2 BGG, unabhängig davon, ob sie beantragt oder ob das entsprechende Begehren im Haupt- oder im Eventualantrag gestellt wird (<ref-ruling> E. 6.1 S. 235; Urteil 9C_351/2020 vom 21. September 2020 E. 4.1).
7.2. Demgemäss sind die Prozesskosten dem Beschwerdegegner zu überbinden. Ferner hat er dem anwaltlich vertretenen Beschwerdeführer eine Parteientschädigung auszurichten.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen, soweit darauf einzutreten ist, und der Entscheid des Sozialversicherungsgerichts des Kantons Basel-Stadt vom 4. Februar 2020 wird aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt.
3.
Der Beschwerdegegner hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Dezember 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Williner