Sachverhalt: A. Wegen der Folgen eines im Jahre 1998 erlittenen Treppensturzes und eines im Jahre 2004 erlittenen Motorradunfalles meldete sich der 1960 geborene B._ im Juni 2005 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Luzern sprach ihm ab 1. August 2005 eine halbe Rente der Invalidenversicherung (zuzüglich Kinderrenten) zu (Verfügungen vom 19. März 2009). Mit Verfügung vom 12. Mai 2009 setzte die IV-Stelle die Rentenbeträge rückwirkend für den Zeitraum vom 1. August 2005 bis 31. März 2009 fest, woraus für den Versicherten ein Rentennachzahlungsbetrag von Fr. 37'046.- resultierte, welcher mit Forderungen der Ausgleichskasse Luzern - Rückforderung IV-Taggelder von Fr. 83.- sowie ausstehende persönliche Beiträge und Lohnbeiträge von Fr. 36'963.- für die Zeit vom 1. Januar 2002 bis 30. Juni 2007 - verrechnet wurde. In derselben Verfügung wurden auch die Auszahlung der Kinderrenten und der Anspruch auf Verzugszins geregelt. Mit einer weiteren Verfügung vom 28. Mai 2009 wurde sodann der zugesprochene Verzugszins von Fr. 2'641.- mit Beitragsforderungen der Ausgleichskasse verrechnet. B. Beschwerdeweise liess B._ beantragen, die beiden Verfügungen seien betreffend Verrechnung aufzuheben. Die IV-Stelle sei zu verpflichten, ihm die rückwirkend für die Zeit vom 1. August 2005 bis 31. März 2009 zugesprochenen Rentenbeträge inklusive Zins vollumfänglich auszuzahlen. Eventualiter sei die Sache zur ergänzenden Abklärung und Neubeurteilung an die IV-Stelle zurückzuweisen. Des Weitern sei ihm die unentgeltliche Prozessführung und Verbeiständung zu gewähren. Das angerufene Verwaltungsgericht des Kantons Luzern wies das Gesuch um unentgeltliche Rechtspflege mit Verfügung vom 19. Oktober 2009 und die Beschwerde mit Entscheid vom 10. November 2010 ab. C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das Rechtsbegehren stellen, der kantonale Entscheid und die Verwaltungsverfügungen vom 12. und 28. Mai 2009 seien betreffend Verrechnung aufzuheben und die IV-Stelle sei - unter Kosten- und Entschädigungsfolgen - zu verpflichten, ihm die rückwirkend für die Zeit vom 1. August 2005 bis 31. März 2009 zugesprochenen Rentenbeträge inklusive Zins vollumfänglich auszuzahlen. Eventualiter sei die Beschwerde in dem Sinne gutzuheissen, als der kantonale Entscheid und die Verwaltungsverfügungen aufgehoben und die Sache zur ergänzenden Abklärung und Neubeurteilung an die IV-Stelle zurückgewiesen werde. Auf die Aufforderung zur Leistung eines Kostenvorschusses hin hat B._ ein Gesuch um unentgeltliche Rechtspflege im Sinne der Befreiung von den Gerichtskosten eingereicht. Die IV-Stelle beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.