Sachverhalt: A. Mit Verfügungen vom 23. Februar und 2. Juli 2009 sowie Einspracheentscheid vom 30. September 2009 verpflichtete das Amt für Sozialbeiträge Basel-Stadt den 1960 geborenen K._ zur Rückerstattung unrechtmässig bezogener Ergänzungsleistungen, kantonaler Beihilfen, Prämienverbilligungen sowie Vergütungen von Krankheitskosten im Gesamtbetrag von Fr. 158'444.30. Die genannten Leistungen waren dem Versicherten zum Teil seit Dezember 2003 zu Unrecht ausgerichtet worden, weil er dem Amt für Sozialbeiträge bei der Anmeldung nicht zur Kenntnis gebracht hatte, dass er neben den angegebenen Renten von Invaliden- und Unfallversicherung auch eine berufsvorsorgerechtliche Invalidenrente bezieht. B. Das Sozialversicherungsgericht Basel-Stadt wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 20. Dezember 2010 ab. C. K._ führt Beschwerde ans Bundesgericht mit dem sinngemässen Antrag, zufolge teilweiser Verwirkung sei die Rückerstattungsforderung betreffend Ergänzungsleistungen, kantonale Beihilfen und Prämienverbilligungen auf die seit dem 24. Februar 2004 erbrachten Leistungen, diejenige betreffend Vergütungen von Krankheitskosten auf die seit dem 3. Juli 2004 entrichteten Beträge zu beschränken. Das Amt für Sozialbeiträge verzichtet ausdrücklich auf eine Stellungnahme zur Beschwerde. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.