Sachverhalt: A. Der 1960 geborene A._ war ab Dezember 1991 als Reinigungsmitarbeiter tätig. Im Februar 2000 meldete er sich unter Hinweis auf gesundheitliche Beschwerden nach zwei Unfällen von 1994 und 1998 bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich sprach ihm mit Verfügungen vom 13. August 2004 bei einem Invaliditätsgrad von 63 % rückwirkend ab 1. September 1999 eine halbe Invalidenrente und ab Januar 2004 eine Dreiviertelsrente (jeweils nebst Kinderrenten und - bis Ende 2003 - Zusatzrente für die Ehegattin) zu. Daran hielt sie mit Einspracheentscheid vom 9. Juni 2005 fest. Mit Beschwerdeentscheid vom 14. Dezember 2006 hob das Sozialversicherungsgericht des Kantons Zürich den Einspracheentscheid auf und wies die Sache zur ergänzenden medizinischen Abklärung und neuen Verfügung an die Verwaltung zurück. Diese holte ein polydisziplinäres medizinisches Gutachten des medizinischen Instituts X._ vom 14. August 2008 ein. Im Juni 2008 gingen der Verwaltung Berichte und mehrere DVD's mit Bildmaterial über eine Observation des Versicherten zu. Diese war auf Veranlassung eines mit dem Unfall von 1998 befassten Haftpflichtversicherers im Zeitraum Februar bis November 2007 durchgeführt worden. Zudem erhielt die IV-Stelle Kenntnis von einem polizeilichen Rapport über eine am 30. November 2007 durchgeführte Baustellenkontrolle, bei welcher A._ angetroffen worden war. Nachdem sich u.a. der Regionale Ärztliche Dienst (RAD) und das medizinische Institut X._ zu den Überwachungsaufnahmen geäussert hatten, verneinte die IV-Stelle mit Verfügung vom 25. Juni 2009 einen Anspruch auf die im Februar 2000 geltend gemachte Invalidenrente mit der Begründung, aufgrund der nunmehr gegebenen Erkenntnisse liege keine rentenbegründende Invalidität vor. Mit Verfügung vom 26. Juni 2009 verpflichtete die Verwaltung überdies den Versicherten, die ausgerichteten Rentenleistungen, welche demnach zu Unrecht bezogen worden seien, zurückzuerstatten. Ab 1. April 2004 hatte A._ gestützt auf die Verfügung der Schweizerischen Unfallversicherungsanstalt (SUVA) vom 15. April 2004 eine - nebst einer Integritätsentschädigung zugesprochene - auf einem Invaliditätsgrad von 63 % basierende Invalidenrente der obligatorischen Unfallversicherung bezogen. Mit Verfügung vom 4. August 2009 hob die SUVA diese Rente rückwirkend auf den 1. Februar 2007 revisionsweise auf und forderte von A._ die Rückerstattung der seit diesem Zeitpunkt bezogenen Rentenleistungen. B. A._ erhob gegen die beiden Verwaltungsverfügungen vom 25. und 26. Februar 2009 je Beschwerde. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die beiden Verfahren und wies die Beschwerden ab. Zugleich verneinte es einen Anspruch des Versicherten auf unentgeltliche Rechtspflege im Beschwerdeverfahren (Entscheid vom 9. März 2011). In einem weiteren, gleichentags ergangenen Entscheid wies das Sozialversicherungsgericht auch die von A._ gegen den Einspracheentscheid der SUVA vom 29. September 2009 eingereichte Beschwerde ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren: "1. In Aufhebung des angefochtenen Urteils sei die Beschwerdegegnerin zu verpflichten, dem Beschwerdeführer rückwirkend ab dem 1. September 1999 eine angemessene Invalidenrente zuzusprechen und auszurichten. 2. Die Rückforderungsverfügung der Beschwerdegegnerin vom 26. Juni 2009 sei ersatzlos aufzuheben und es sei festzustellen, dass der Beschwerdegegnerin kein Rückforderungsanspruch zustehe. 3. Es sei dem Beschwerdeführer die unentgeltliche Prozessführung zu bewilligen und Rechtsanwalt Dr. André Largier als unentgeltlicher Rechtsbeistand zu bestellen. Unter Kosten- und Entschädigungsfolgen (auch für das vorinstanzliche Verfahren, zzgl. MWSt) zu Lasten der Beschwerdegegnerin. 4. Eventualiter sei das im vorinstanzlichen Verfahren gestellte Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Prozessführung und Verbeiständung gutzuheissen und die Vorinstanz zu verpflichten, dem Beschwerdeführer eine angemessene Entschädigung zuzusprechen." Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. D. A._ hat auch gegen den vorinstanzlichen Entscheid vom 9. März 2011 betreffend UV-Leistungen Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Darüber entscheidet das Bundesgericht mit heutigem Urteil im Verfahren 8C_301/2011.