Sachverhalt:
A. Wegen der Folgen eines im Jahre 1998 erlittenen Treppensturzes und eines im Jahre 2004 erlittenen Motorradunfalles meldete sich der 1960 geborene B._ im Juni 2005 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Luzern sprach ihm ab 1. August 2005 eine halbe Rente der Invalidenversicherung (zuzüglich Kinderrenten) zu (Verfügungen vom 19. März 2009). Mit Verfügung vom 12. Mai 2009 setzte die IV-Stelle die Rentenbeträge rückwirkend für den Zeitraum vom 1. August 2005 bis 31. März 2009 fest, woraus für den Versicherten ein Rentennachzahlungsbetrag von Fr. 37'046.- resultierte, welcher mit Forderungen der Ausgleichskasse Luzern - Rückforderung IV-Taggelder von Fr. 83.- sowie ausstehende persönliche Beiträge und Lohnbeiträge von Fr. 36'963.- für die Zeit vom 1. Januar 2002 bis 30. Juni 2007 - verrechnet wurde. In derselben Verfügung wurden auch die Auszahlung der Kinderrenten und der Anspruch auf Verzugszins geregelt. Mit einer weiteren Verfügung vom 28. Mai 2009 wurde sodann der zugesprochene Verzugszins von Fr. 2'641.- mit Beitragsforderungen der Ausgleichskasse verrechnet.
B. Beschwerdeweise liess B._ beantragen, die beiden Verfügungen seien betreffend Verrechnung aufzuheben. Die IV-Stelle sei zu verpflichten, ihm die rückwirkend für die Zeit vom 1. August 2005 bis 31. März 2009 zugesprochenen Rentenbeträge inklusive Zins vollumfänglich auszuzahlen. Eventualiter sei die Sache zur ergänzenden Abklärung und Neubeurteilung an die IV-Stelle zurückzuweisen. Des Weitern sei ihm die unentgeltliche Prozessführung und Verbeiständung zu gewähren. Das angerufene Verwaltungsgericht des Kantons Luzern wies das Gesuch um unentgeltliche Rechtspflege mit Verfügung vom 19. Oktober 2009 und die Beschwerde mit Entscheid vom 10. November 2010 ab.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das Rechtsbegehren stellen, der kantonale Entscheid und die Verwaltungsverfügungen vom 12. und 28. Mai 2009 seien betreffend Verrechnung aufzuheben und die IV-Stelle sei - unter Kosten- und Entschädigungsfolgen - zu verpflichten, ihm die rückwirkend für die Zeit vom 1. August 2005 bis 31. März 2009 zugesprochenen Rentenbeträge inklusive Zins vollumfänglich auszuzahlen. Eventualiter sei die Beschwerde in dem Sinne gutzuheissen, als der kantonale Entscheid und die Verwaltungsverfügungen aufgehoben und die Sache zur ergänzenden Abklärung und Neubeurteilung an die IV-Stelle zurückgewiesen werde. Auf die Aufforderung zur Leistung eines Kostenvorschusses hin hat B._ ein Gesuch um unentgeltliche Rechtspflege im Sinne der Befreiung von den Gerichtskosten eingereicht.
Die IV-Stelle beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. Die vorinstanzliche Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. 2.1 Das ATSG enthält keine allgemeine Verrechnungsnorm (vgl. aber <ref-law>). Hingegen statuiert die nach <ref-law> (in der seit 1. Januar 2003 in Kraft stehenden Fassung) auch in der Invalidenversicherung anwendbare Bestimmung des <ref-law> die allgemeine Verrechenbarkeit von Beitragsforderungen, Leistungen und Leistungsrückforderungen der AHV und der IV (Ulrich Meyer, Bundesgesetz über die Invalidenversicherung, 2. Aufl. 2010, S. 453).
Die zweigintern und zweigübergreifend zulässige Verrechnung von Leistungen und Forderungen kann sich sowohl auf laufende Renten als auch auf Rentennachzahlungen beziehen (<ref-ruling> E. 4.1 S. 288). Sie darf indessen den nach betreibungsrechtlichen Regeln zu ermittelnden Notbedarf des Versicherten nicht beeinträchtigen (<ref-ruling> E. 6.1 S. 291; <ref-ruling> E. 1.2 S. 252). Dabei stellt sich nach der Rechtsprechung die Frage der Zulässigkeit der Verrechnung unter dem Gesichtspunkt der Wahrung des betreibungsrechtlichen Existenzminimums nicht nur bei einer laufenden, monatlich ausgerichteten Rente, sondern auch bei Rentennachzahlungen, weil auch diese zum Zweck haben, den Existenzbedarf der versicherten Person zu decken (Art. 34quater Abs. 2 Satz 3 aBV; <ref-law>), und zwar in jener Zeitspanne, für welche sie nachbezahlt werden (<ref-ruling> E. 6.2 S. 291; Urteil des Eidg. Versicherungsgerichts I 305/03 vom 15. Februar 2005 E. 4; vgl. auch Urteil I 141/05 vom 20. September 2006 E. 5.3.1; kritisch dazu: Franz Schlauri, Die zweigübergreifende Verrechnung und weitere Instrumente der Vollstreckungskoordination des Sozialversicherungsrechts, in: Sozialversicherungsrechtstagung 2004, S. 137 ff., 150 f.). Begründet wurde diese Praxis teilweise damit, dass es die Verwaltung sonst in der Hand hätte, durch Zuwarten mit dem Erlass der Rentenverfügung die Verrechnungsschranke zu umgehen (Urteil des Eidg. Versicherungsgerichts I 141/05 vom 20. September 2006 E. 5.3.1 mit Hinweis auf das Urteil des Eidg. Versicherungsgerichts H 153/85 vom 29. April 1986). In diesem Sinne erklärt auch Rz. 10921 der Wegleitung des BSV über die Renten (RWL) in der Eidg. Alters-, Hinterlassenen- und Invalidenversicherung, gültig ab 1. Januar 2003 (Stand 1. Januar 2008; http://www.bsv.admin.ch/vollzug) im Falle einer Nachzahlung von Leistungen für die Prüfung des betreibungsrechtlichen Existenzminimums die Zeitspanne als massgebend, für welche die Nachzahlung bestimmt ist.
2.2 Die Schranke des Existenzminimums gilt indessen nicht in Fällen, in welchen die bevorschussende Fürsorgebehörde vom Sozialversicherer die Überweisung der Rentenleistungen für einen Zeitraum verlangt, für welchen sie die versicherte Person unterstützt hat, weil die versicherte Person sonst mit der Berufung auf das Existenzminimum die Auszahlung in diesem Umfang an sich selbst verlangen könnte und damit zweimal in den Genuss von Leistungen käme (<ref-ruling> E. 4d S. 26; SVR 2007 BVG Nr. 15 S. 49, B 63/05 E. 3.2). Wie das Bundesgericht unlängst entschieden hat, steht einer Verrechnung das betreibungsrechtliche Existenzminimum auch nicht entgegen, wenn die versicherte Person in der Vergangenheit von der Fürsorgebehörde während einer Zeitspanne unterstützt worden ist, für welche später Renten nachbezahlt werden, die Verrechnung jedoch nicht mit der Sozialbehörde, sondern mit einem anderen Zweig der Sozialversicherung zur Diskussion steht, dessen Anspruch jenem der Fürsorgebehörde vorgeht (<ref-ruling>). Zur Begründung wurde unter anderem angeführt, dass der Schutz des Existenzminimums sich an <ref-law> anlehnt, wonach Verpflichtungen, deren besondere Natur die tatsächliche Erfüllung an den Gläubiger verlangt, wie Unterhaltsansprüche und Lohnguthaben, die zum Unterhalt des Gläubigers und seiner Familie unbedingt erforderlich sind, nicht durch Verrechnung getilgt werden können (vgl. auch <ref-ruling> E. 2.4 S. 510). Diese Bestimmung will - wie jene des <ref-law> - einzig vermeiden, dass jemand durch die Verrechnung tatsächlich ins Elend gestossen wird, was nicht der Fall ist, wenn es um eine nachträgliche Beurteilung für einen Zeitraum geht, für welchen Sozialhilfe ausgerichtet worden ist (<ref-ruling> E. 8.2 S. 293; vgl. auch Urteil I 141/05 vom 20. September 2006 E. 5.3.2).
3. 3.1 Es steht fest und ist unbestritten, dass der Beschwerdeführer in den vergangenen Jahren und insbesondere im Zeitraum vom 1. August 2005 (Beginn des Rentenanspruchs) bis 31. März 2009 (Ende der Rentennachzahlung) keine Sozialhilfe bezogen hat. Dabei stellt er sich auf den Standpunkt, einer Verrechnung stehe entgegen, dass er im massgebenden Zeitraum, was die IV-Stelle bestritt und die Vorinstanz offen liess, unter dem Existenzminimum gelebt habe.
3.2 Die Vorinstanz gelangte zum Ergebnis, dass bei der Verrechnung von persönlichen Beiträgen und rentenbildenden Lohnbeiträgen der AHV mit Rentennachzahlungen der IV die Verrechnungsschranke des Existenzminimums nicht zu berücksichtigen sei. Sie begründete dies damit, dass eine nachträgliche rechnerische "Gewährleistung" des Existenzminimums für die Vergangenheit nicht mit einem aktuellen schutzwürdigen Interesse begründet werden könne, weil eine solche Verrechnungsgrenze für die Vergangenheit nicht mehr dazu diene, dem Versicherten im Verrechnungszeitpunkt eine menschenwürdige Existenz zu sichern. Der Verzicht auf die Verrechnung der Nachzahlung führe für die Vergangenheit nicht zu einem besseren Leben. Zu beachten sei in diesem Zusammenhang auch, dass das Bundesrecht die fraglichen Beitragsforderungen der Ausgleichskasse im Vollstreckungsverfahren (Art. 219 Abs. 4 lit. b und Art. 146 SchKG) der zweiten Klasse zuordne und damit privilegiere, was zeige, dass der Gesetzgeber die Sicherung dieser Sozialwerke gegenüber den Interessen anderer Gläubiger (wie dem Sozialhilfe leistenden Gemeinwesen) an der Einbringlichkeit ihrer Forderungen höherrangig bewerte. Die Zulassung der Verrechnung bewahre die Ausgleichskasse vor Schaden und bringe dem Schuldner der Beiträge insoweit Vorteile, als die Sozialversicherungsbeiträge rentenbildend seien. Zudem handle es sich im zu beurteilenden Fall teilweise um Lohnbeiträge für die ehemaligen Angestellten. Der Beschwerdeführer habe sich in der fraglichen Periode mit dem Einkommen, welches er im Motorradgeschäft erzielt habe, begnügt. Gemäss der Berechnung der IV-Stelle wäre ihm ein höheres Einkommen zumutbar gewesen. Er habe keine Sozialhilfe beansprucht. Wäre er zur Sozialhilfe gegangen, müsste er die Verrechnung zulassen. All dies spreche dafür, dass die verrechnungsweise Tilgung rentenbildender AHV-Beiträge Vorrang verdiene vor einer sich auf die Vergangenheit beziehenden Existenzminimumsicherung. Die Verrechnung erweise sich in allen Punkten als korrekt.
3.3 Das Bundesgericht hatte die bereits im Urteil des Eidg. Versicherungsgerichts I 141/05 vom 20. September 2006 offengelassene Frage, ob bei Rentennachzahlungen die Zulässigkeit einer Verrechnung generell nicht mehr unter dem Gesichtspunkt der Wahrung des betreibungsrechtlichen Existenzminimums zu prüfen ist, bislang nicht zu entscheiden (<ref-ruling> E. 8.3 S. 293). Eine Bejahung der Frage (im Sinne des angefochtenen Entscheides) muss sich als Änderung der Rechtsprechung auf ernsthafte sachliche Gründe stützen können, die - vor allem im Hinblick auf das Gebot der Rechtssicherheit - umso gewichtiger sein müssen, je länger die als falsch oder nicht mehr zeitgemäss erkannte Rechtsanwendung für zutreffend erachtet worden ist. Eine Praxisänderung lässt sich grundsätzlich nur begründen, wenn die neue Lösung besserer Erkenntnis der ratio legis, veränderten äusseren Verhältnissen oder gewandelten Rechtsanschauungen entspricht (<ref-ruling> E. 3 S. 8; <ref-ruling> E. 5.3.1 S. 318; <ref-ruling> E. 3 S. 82). Mit einer Rechtsprechungsänderung im genannten Sinne würde des Weitern auch von Rz. 10921 RWL abgewichen, wonach das betreibungsrechtliche Existenzminimum bei einer Rentennachzahlung in der Zeitspanne zu beachten ist, für welche die Nachzahlung bestimmt ist. Als Verwaltungsweisung ist diese Wegleitungsbestimmung für das Sozialversicherungsgericht zwar nicht verbindlich, doch weicht das Gericht auch nicht ohne triftigen Grund von Verwaltungsweisungen ab, wenn diese eine überzeugende Konkretisierung der rechtlichen Vorgaben darstellen (<ref-ruling> E. 6.1 S. 591; <ref-ruling> E. 3.2 S. 258 mit Hinweisen; vgl. <ref-ruling> E. 8.1 S. 315).
3.4 Eine Rechtsprechungsänderung rechtfertigende Gründe sind nicht ersichtlich. Es leuchtet zwar ohne weiteres ein, dass eine versicherte Person, welche während eines bestimmten Zeitraums Sozialhilfe bezogen hat und für denselben Zeitraum eine Rentennachzahlung bekommt, sich nicht auf die Verrechnungsschranke des betreibungsrechtlichen Existenzminimums berufen kann, weil diese zum Zwecke hat, zu vermeiden, dass jemand durch die Verrechnung tatsächlich ins Elend gestossen wird, wovon angesichts der von der Sozialhilfe erhaltenen Unterstützung nicht die Rede sein kann (<ref-ruling> E. 8.2 S. 293). Anders verhält es sich jedoch, wenn eine versicherte Person unter dem Existenzminimum gelebt und dennoch (aus irgendwelchen Gründen) keine Unterstützung der Sozialbehörde beansprucht hat; denn in diesem Fall kann nicht argumentiert werden, dass das Existenzminimum im fraglichen Zeitraum durch die Sozialbehörde sichergestellt gewesen und der Zweck der Verrechnungsschranke damit hinfällig sei. Wohl lässt sich nicht von der Hand weisen, dass der Verzicht auf die Verrechnung der Nachzahlung für die Vergangenheit nicht zu einem besseren Leben führt (so auch Schlauri, a.a.O., S. 151). Allerdings dürfte die versicherte Person - soweit sie nicht über hinreichendes Vermögen verfügte - gezwungen gewesen sein, sich die Mittel zur Existenzwahrung anderweitig zu beschaffen, zu denken ist beispielsweise an eine Bevorschussung von privater Seite, die es nachträglich zurückzuerstatten gilt. Was den Hinweis der Vorinstanz anbelangt, wonach der Beschwerdeführer gemäss der von der IV-Stelle vorgenommenen Ermittlung des Invalideneinkommens in der Lage gewesen wäre, einen höheren Verdienst zu erzielen, ist zu bemerken, dass im Rahmen der Ermittlung des betreibungsrechtlichen Existenzminimums keine Handhabe für die Anrechnung hypothetischen Einkommens besteht.
Des Weitern lässt sich für die Geltung der Verrechnungsschranke des betreibungsrechtlichen Existenzminimums bei Rentennachzahlungen nach wie vor anführen, dass es die Verwaltung sonst in der Hand hätte, durch Zuwarten mit dem Erlass der Rentenverfügung die Verrechnungsschranke zu umgehen (Urteile des Eidg. Versicherungsgerichts I 141/05 vom 20. September 2006 E. 5.3.1; H 153/85 vom 29. April 1986 E. 2b). Zudem hängt es oft von Zufälligkeiten (wie beispielsweise Verzögerungen in der Abklärung der medizinischen Verhältnisse aufgrund überlasteter Gutachtensstellen) ab, ob die versicherte Person die Rente laufend oder rückwirkend in Form einer Rentennachzahlung bekommt; dieses aleatorische Element darüber entscheiden zu lassen, ob das betreibungsrechtliche Existenzminimum zu beachten ist, wäre geradezu stossend.
Wenn es auch zutrifft, dass die Verrechnung dem Schuldner der Beiträge insoweit Vorteile bringt, als diese rentenbildend sind, kann daraus - entgegen dem angefochtenen Entscheid - nicht geschlossen werden, die Verrechnung sei ohne Rücksicht auf das Existenzminimum zulässig, soweit es um rentenbildende Beiträge gehe. Zwar wurde in E. 5.3.2 des Urteils I 141/05 vom 20. September 2006 unter Hinweis auf EVGE 1955 S. 35 ausgeführt, dass der verrechnungsweisen Tilgung rentenbildender AHV-Beiträge mit AHV-Renten der Existenzschutz nicht entgegenstehe. Doch ging es bei dem dieser Aussage zugrunde liegenden, im Jahre 1955 zu beurteilenden Fall um die Verrechnung von AHV-Beiträgen mit einer laufenden Hinterlassenenrente der AHV, in welcher Konstellation das Gericht aus Gründen der Praktikabilität die Verrechnung ohne Rücksicht auf das Existenzminimum als zulässig erachtete. Dabei war die Überlegung wegleitend, dass sich die Frage der Verrechenbarkeit andernfalls alsbald "in neuer Gestalt" gestellt hätte, weil die Ausgleichskasse bei dauernder Uneinbringlichkeit der geschuldeten Beiträge die laufende Hinterlassenenrente niedriger hätte festsetzen müssen.
3.5 Ist demnach an der bisherigen Rechtsprechung festzuhalten, geht die Sache an die Vorinstanz zurück, damit sie das Existenzminimum des Beschwerdeführers für die in Frage stehende Zeit ermittle, die Verrechnung unter dem Aspekt des Existenzminimums prüfe und hernach über die Beschwerde neu entscheide.
4. Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem Prozessausgang entsprechend der IV-Stelle auferlegt (<ref-law>). Das Gesuch um unentgeltliche Prozessführung ist damit gegenstandslos. Des Weitern hat die Verwaltung dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, vom 10. November 2010 wird aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über die Beschwerde neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse Luzern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. April 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann