Sachverhalt:
A. Der 1960 geborene A._ war ab Dezember 1991 als Reinigungsmitarbeiter tätig. Im Februar 2000 meldete er sich unter Hinweis auf gesundheitliche Beschwerden nach zwei Unfällen von 1994 und 1998 bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich sprach ihm mit Verfügungen vom 13. August 2004 bei einem Invaliditätsgrad von 63 % rückwirkend ab 1. September 1999 eine halbe Invalidenrente und ab Januar 2004 eine Dreiviertelsrente (jeweils nebst Kinderrenten und - bis Ende 2003 - Zusatzrente für die Ehegattin) zu. Daran hielt sie mit Einspracheentscheid vom 9. Juni 2005 fest. Mit Beschwerdeentscheid vom 14. Dezember 2006 hob das Sozialversicherungsgericht des Kantons Zürich den Einspracheentscheid auf und wies die Sache zur ergänzenden medizinischen Abklärung und neuen Verfügung an die Verwaltung zurück. Diese holte ein polydisziplinäres medizinisches Gutachten des medizinischen Instituts X._ vom 14. August 2008 ein. Im Juni 2008 gingen der Verwaltung Berichte und mehrere DVD's mit Bildmaterial über eine Observation des Versicherten zu. Diese war auf Veranlassung eines mit dem Unfall von 1998 befassten Haftpflichtversicherers im Zeitraum Februar bis November 2007 durchgeführt worden. Zudem erhielt die IV-Stelle Kenntnis von einem polizeilichen Rapport über eine am 30. November 2007 durchgeführte Baustellenkontrolle, bei welcher A._ angetroffen worden war. Nachdem sich u.a. der Regionale Ärztliche Dienst (RAD) und das medizinische Institut X._ zu den Überwachungsaufnahmen geäussert hatten, verneinte die IV-Stelle mit Verfügung vom 25. Juni 2009 einen Anspruch auf die im Februar 2000 geltend gemachte Invalidenrente mit der Begründung, aufgrund der nunmehr gegebenen Erkenntnisse liege keine rentenbegründende Invalidität vor. Mit Verfügung vom 26. Juni 2009 verpflichtete die Verwaltung überdies den Versicherten, die ausgerichteten Rentenleistungen, welche demnach zu Unrecht bezogen worden seien, zurückzuerstatten.
Ab 1. April 2004 hatte A._ gestützt auf die Verfügung der Schweizerischen Unfallversicherungsanstalt (SUVA) vom 15. April 2004 eine - nebst einer Integritätsentschädigung zugesprochene - auf einem Invaliditätsgrad von 63 % basierende Invalidenrente der obligatorischen Unfallversicherung bezogen. Mit Verfügung vom 4. August 2009 hob die SUVA diese Rente rückwirkend auf den 1. Februar 2007 revisionsweise auf und forderte von A._ die Rückerstattung der seit diesem Zeitpunkt bezogenen Rentenleistungen.
B. A._ erhob gegen die beiden Verwaltungsverfügungen vom 25. und 26. Februar 2009 je Beschwerde. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die beiden Verfahren und wies die Beschwerden ab. Zugleich verneinte es einen Anspruch des Versicherten auf unentgeltliche Rechtspflege im Beschwerdeverfahren (Entscheid vom 9. März 2011).
In einem weiteren, gleichentags ergangenen Entscheid wies das Sozialversicherungsgericht auch die von A._ gegen den Einspracheentscheid der SUVA vom 29. September 2009 eingereichte Beschwerde ab.
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren:
"1. In Aufhebung des angefochtenen Urteils sei die Beschwerdegegnerin zu verpflichten, dem Beschwerdeführer rückwirkend ab dem 1. September 1999 eine angemessene Invalidenrente zuzusprechen und auszurichten.
2. Die Rückforderungsverfügung der Beschwerdegegnerin vom 26. Juni 2009 sei ersatzlos aufzuheben und es sei festzustellen, dass der Beschwerdegegnerin kein Rückforderungsanspruch zustehe.
3. Es sei dem Beschwerdeführer die unentgeltliche Prozessführung zu bewilligen und Rechtsanwalt Dr. André Largier als unentgeltlicher Rechtsbeistand zu bestellen.
Unter Kosten- und Entschädigungsfolgen (auch für das vorinstanzliche Verfahren, zzgl. MWSt) zu Lasten der Beschwerdegegnerin.
4. Eventualiter sei das im vorinstanzlichen Verfahren gestellte Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Prozessführung und Verbeiständung gutzuheissen und die Vorinstanz zu verpflichten, dem Beschwerdeführer eine angemessene Entschädigung zuzusprechen."
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
D. A._ hat auch gegen den vorinstanzlichen Entscheid vom 9. März 2011 betreffend UV-Leistungen Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Darüber entscheidet das Bundesgericht mit heutigem Urteil im Verfahren 8C_301/2011.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 134 V 250 E. 1.2 S. 252 mit Hinweisen). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (vgl. BGE 133 II 249 E. 1.4.1 S. 254; Urteil 8C_934/2008 vom 17. März 2009 E. 1 mit Hinweisen, nicht publ. in: BGE 135 V 194, aber in: SVR 2009 UV Nr. 35 S. 120).
Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Von diesen tatsächlichen Feststellungen kann es nur dann abweichen, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. Streitig und zu prüfen ist vorab, ob Verwaltung und Vorinstanz einen Anspruch auf eine Invalidenrente der Invalidenversicherung zu Recht verneint haben.
2.1 Das kantonale Gericht hat die Rechtsgrundlagen hiefür zutreffend wiedergegeben. Das betrifft nebst den massgeblichen Bestimmungen, u.a. zu dem für einen Rentenanspruch mindestens erforderlichen Invaliditätsgrad von 40 %, insbesondere die Rechtsprechung zur Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (BGE 132 V 93 E. 4 S. 99 f.; 125 V 256 E. 4 S. 261), zum Beweiswert und zur Würdigung ärztlicher Berichte und Gutachten (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352) sowie zur Frage der invalidisierenden Wirkung von pathogenetisch-ätiologisch unklaren syndromalen Beschwerdebildern ohne nachweisbare organische Grundlage (BGE 136 V 279; 131 V 49; 130 V 352). Zu ergänzen ist, dass für Tatsachenfeststellungen der im Sozialversicherungsrecht übliche Beweisgrad der überwiegenden Wahrscheinlichkeit gilt (BGE 126 V 353 E. 5b S. 360; vgl. auch BGE 129 V 177 E. 3.1 S. 181).
2.2 Die Vorinstanz hat zunächst erwogen, sie sei im Entscheid vom 14. Dezember 2006 zum Schluss gelangt, aufgrund des damals aktenkundigen Sachverhaltes sei eine rentenbegründende Arbeits- und Erwerbsunfähigkeit nicht ausgewiesen. Die Verwaltung sei deshalb verpflichtet worden, ergänzende Abklärungen vorzunehmen. Letztere hätten, in Bestätigung der früheren Arztberichte, ergeben, dass nie ein rentenrelevanter organisch objektiv nachweisbarer somatischer Gesundheitsschaden bestanden habe.
Diese Beurteilung ist nicht umstritten und gibt keinen Anlass zu Weiterungen.
2.3 Das kantonale Gericht ist sodann zum Ergebnis gelangt, aufgrund der nunmehr gegebenen Aktenlage sei auch ein organisch nicht objektiv nachweisbarer Gesundheitsschaden, welcher die Arbeitsfähigkeit in einer rentenbegründenden Weise beeinträchtige oder beeinträchtigt habe, nicht überwiegend wahrscheinlich.
Der Beschwerdeführer wendet ein, im Gutachten des medizinischen Instituts X._ vom 14. April 2008 sei aufgrund einer mittelgradigen Depression (bei Status nach abgelaufener posttraumatischer Belastungsstörung) und einer neuropsychologisch nachgewiesenen leichten bis mittelschweren Funktionsstörung eine 50%ige Arbeitsunfähigkeit in der angestammten wie auch in einer leidensangepassten Tätigkeit bestätigt worden. Davon sei auszugehen.
2.3.1 Die Vorinstanz hat hiezu erwogen, nach Einsicht in die Observationsunterlagen seien sowohl die RAD-Ärzte Dr. med. G._, Facharzt für Chirurgie, und PD Dr. med. M._, Facharzt für Psychiatrie und Psychotherapie FMH, Facharzt für Prävention und Gesundheitswesen, Psychologe FSP, in der Stellungnahme vom 18. Juli 2008 als auch die Experten des medizinischen Instituts X._ Dr. med. J._, Facharzt für Innere Medizin FMH, und Frau Dr. med. L._, Fachärztin für Psychiatrie und Psychotherapie FMH, in der Stellungnahme vom 6. April 2009 zur Auffassung gelangt, dass die im Gutachten des medizinischen Instituts X._ vom 14. April 2008 vorgenommene Beurteilung der Arbeitsfähigkeit nicht valide sei. Das sei auch nachvollziehbar. Die Begutachtung sei gestützt auf falsche berufsanamnestische Angaben des Versicherten erfolgt. Erst die Observationsunterlagen hätten gezeigt, dass der Beschwerdeführer - was von ihm auch nicht bestritten werde - von Februar bis November 2007 bis zu mittelschwere Hilfsarbeiten auf Baustellen verrichtet habe. Ein die Arbeitsfähigkeit einschränkendes Leiden sei somit nicht nachgewiesen. Es sei zudem davon auszugehen, dass auch weitere psychiatrische Abklärungen keine wesentlichen neuen Erkenntnisse für die Zeit bis zur streitigen Verwaltungsverfügung vom 25. Juni 2009 ergäben.
Diese tatsächlichen Feststellungen beruhen auf einer einlässlichen Auseinandersetzung mit den Akten. Hervorzuheben ist, dass die Experten des medizinischen Instituts X._ in der Stellungnahme vom 9. April 2009 ausführen, das Observationsmaterial sei durchaus geeignet, ihre damalige Einschätzung der Arbeitsfähigkeit in Frage zu stellen. Auf den an verschiedenen Tagen erstellten Videoaufzeichnungen sei "ersichtlich, dass der Versicherte in der Lage ist, morgens mit seinem Privatauto zu einer Baustelle zu fahren und dort während insgesamt bis zu 9 Stunden eine körperliche Schwerarbeit zügig und ohne erkennbaren Leidensdruck zu verrichten. Dies steht in klarem Widerspruch zu unseren Schlussfolgerungen im Gutachten vom 14. April 2008, insbesondere bezüglich der Diagnose einer mittelgradigen depressiven Episode mit mittelschweren neurokognitiven Funktionsstörungen. Im vorliegenden Observationsmaterial ist weder ein fehlender Optimismus noch eine verminderte Konzentration oder eine gedankliche Ablenkung sichtbar, die die Arbeit negativ beeinflussen könnten. Es zeigt sich auch keine Verlangsamung bei der Ausführung der Arbeit und auch keine vermehrte Tagesmüdigkeit. Er kann zum Teil schwere körperliche Arbeiten auf dem Bau verrichten und dies recht schnell und speditiv, dies sogar am Ende des Arbeitstages. Somit muss davon ausgegangen werden, dass der Versicherte nicht nur aus rheumatologischer, sondern auch aus psychiatrischer und neuropsychologischer Sicht eine Ganztagesarbeit auf dem Bau problemlos durchführen kann." Die Experten sahen sich deswegen "gezwungen, unsere Beurteilung der Arbeitsfähigkeit zu revidieren und ihn ab dem Zeitpunkt der Begutachtung für alle Tätigkeitsbereiche, inkl. der zuletzt ausgeübten als Bauarbeiter, interdisziplinär als zu 100 % arbeitsfähig zu beurteilen". Im Wesentlichen gleich äusserten sich die RAD-Ärzte in der Stellungnahme vom 18. Juli 2008.
2.3.2 Was der Versicherte vorbringt, lässt die vorinstanzlichen Tatsachenfeststellungen weder als offensichtlich unrichtig noch als rechtsverletzend nach Art. 95 BGG erscheinen. Das gilt namentlich auch hinsichtlich der vorinstanzlichen Beurteilung, wonach sich aus den - in der Tat sehr aussagekräftigen - Observationsunterlagen unter Berücksichtigung der übrigen Akten genügend Anhaltspunkte für die besagte fachärztliche Beurteilung der Arbeitsfähigkeit ergeben und wonach die Ärzte des RAD und des medizinischen Instituts X._, welche sich in den Stellungnahmen vom 18. Juli 2008 und 6. April 2009 äusserten, über die hiefür nötigen Fachkenntnisse verfügen. Das betrifft auch die neuropsychologischen Gesichtspunkte. Aus den vom Versicherten erwähnten Aussagen, welche in dem gegen ihn geführten Strafverfahren gemacht wurden, ergibt sich keine andere Betrachtungsweise. Die vorinstanzliche Würdigung von arbeitgeberseitigen Stellungnahmen ist ebenfalls nicht zu beanstanden.
2.3.3 Nicht stichhaltig ist auch das Vorbringen, das kantonale Gericht habe die im Gutachten des medizinischen Instituts X._ vom 14. April 2008 diagnostizierte mittelgradige Depression in rechtsverletzender Weise gewürdigt. Dazu ist festzuhalten, dass im Gutachten lediglich eine mittelgradige depressive Episode diagnostiziert wurde. Sodann sind die Fachärzte des medizinischen Instituts X._, nachdem sie Einsicht in die Überwachungsaufnahmen genommen hatten, zum Ergebnis gelangt, an der im Gutachten aufgrund dieser Diagnose noch bestätigten Arbeitsunfähigkeit könne nicht festgehalten werden. Das haben die Experten in der Stellungnahme vom 6. April 2009 überzeugend begründet. Wenn das kantonale Gericht dies zur Grundlage seines Entscheides genommen und eine invalidisierende Gesundheitsschädigung verneint hat, ist dies weder hinsichtlich tatsächlicher Feststellung noch rechtlicher Würdigung zu beanstanden. Damit erübrigen sich auch Weiterungen zur Frage, ob sich Gleiches auch aufgrund der Rechtsprechung zu den somatoformen Schmerzstörungen (insbes. BGE 130 V 352) ergeben hätte.
2.3.4 Geltend gemacht wird weiter, das kantonale Gericht habe ungenügende Feststellungen zum Gesundheitszustand im Zeitraum zwischen dem Unfall von 1998 und dem Beginn der gutachterlichen Untersuchungen im Jahr 2007 getroffen.
Der Einwand ist nicht begründet. Die Vorinstanz hat im Entscheid vom 14. Dezember 2006 erkannt, die medizinische Aktenlage sei ungenügend, um für den Zeitraum bis dahin eine rentenbegründende Gesundheitsschädigung nichtorganischer Natur verlässlich bejahen oder verneinen zu können. Deswegen seien ergänzende Abklärungen zu treffen. Im hier angefochtenen Entscheid ist das kantonale Gericht zum Ergebnis gelangt, auch die zwischenzeitlich durchgeführten medizinischen Abklärungen hätten nicht mit überwiegender Wahrscheinlichkeit einen solchen Gesundheitsschaden ergeben. Diese Beurteilung ist hinreichend begründet und im Rahmen der bundesgerichtlichen Kognition nicht zu beanstanden. Gleiches gilt für die weitere vorinstanzliche Erwägung, wonach von einer erneuten Anordnung ergänzender Abklärungen abzusehen sei, da diese keinen entscheidrelevanten neuen Aufschluss erwarten liessen.
2.3.5 Der Versicherte bringt weiter vor, die SUVA habe ihm gestützt auf ihre Verfügung vom 15. April 2004 eine Invalidenrente, laufend ab April 2004, und eine Integritätsentschädigung der obligatorischen Unfallversicherung ausgerichtet. Das führt indessen mit Blick auf die hier streitige, nie rechtskräftig verfügte Invalidenrente der Invalidenversicherung zu keinem anderen Ergebnis. Es bleibt lediglich darauf hinzuweisen, dass die SUVA die Rente zwischenzeitlich revisionsweise aufgehoben hat, was letztinstanzlich Gegenstand des ebenfalls heute ergehenden Urteils 8C_301/2011 bildet.
2.4 Das kantonale Gericht hat schliesslich erkannt, dass sich eine allfällige gesundheitliche Verschlechterung, wie sie der Versicherte geltend mache, jedenfalls bis zum Zeitpunkt der Verfügung der IV-Stelle vom 25. Juni 2009 noch nicht in einer rentenbegründenden Weise ausgewirkt habe und daher hier unberücksichtigt bleiben müsse. Diese Beurteilung trägt dem Grundsatz Rechnung, dass die gerichtliche Überprüfungsbefugnis in der Regel auf Sachverhalte beschränkt ist, welche sich bis zum Erlass der streitigen Verwaltungsverfügung - hier vom 25. Juni 2009 - verwirklicht haben (vgl. BGE 131 V 242 E. 2.1 S. 243 mit Hinweis; Urteil 8C_81/2010 vom 7. Juli 2010 E. 2, nicht veröffentlicht in: BGE 136 V 209, aber in: SVR 2011 IV Nr. 21 S. 56). Sie ist nicht umstritten und gibt keinen Anlass zu Weiterungen.
2.5 Zusammenfassend ergibt sich, dass der Anspruch auf eine Invalidenrente zu Recht verneint wurde.
3. Streitig ist sodann, ob der Versicherte die bezogenen Rentenleistungen zurückzuerstatten hat.
3.1 Nach Art. 25 ATSG sind unrechtmässig bezogene Leistungen zurückzuerstatten. Wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Abs. 1). Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Wird der Rückerstattungsanspruch aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese Frist massgebend (Abs. 2).
3.1 Nach Art. 25 ATSG sind unrechtmässig bezogene Leistungen zurückzuerstatten. Wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Abs. 1). Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Wird der Rückerstattungsanspruch aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese Frist massgebend (Abs. 2).
3.2 3.2.1 Gemäss dem angefochtenen Entscheid ist die Rentenausrichtung ohne rechtskräftige Leistungszusprache und damit unrechtmässig erfolgt, weshalb ein Rückerstattungstatbestand vorliegt. Das trifft zu (SVR 2010 IV Nr. 45 S. 141, 9C_564/2009 E. 6.4; vgl. auch BGE 136 V 45 E. 6.2 S. 47 f.; 122 V 134 E. 2c S. 138; SVR 1998 EL Nr. 9 S. 21, P 66/94 E. 6a). Der Einwand, es habe sich um Vorschussleistungen im Sinne von Art. 19 Abs. 4 ATSG gehandelt, führt zu keiner anderen Betrachtungsweise.
3.2.2 Die Vorinstanz hat weiter erwogen, die IV-Stelle habe Ende Mai 2008 Kenntnis von der unrechtmässigen Leistungsausrichtung erhalten. Mit dem am 6. Januar 2009 ergangenen Vorbescheid der Verwaltung sei demnach die einjährige Frist zur Geltendmachung der Rückforderung gewahrt worden. Sodann hätten die Rentenzahlungen nach dem Erlass der - später aufgehobenen - Verwaltungsverfügungen vom 13. August 2004 begonnen. Die Rückforderungsverfügung vom 26. Juni 2009 sei somit vor Ablauf von fünf Jahren nach Entrichtung der einzelnen Leistungen ergangen.
Diese Erwägungen sind im Rahmen der bundesgerichtlichen Überprüfungsbefugnis weder in tatsächlicher noch in rechtlicher Hinsicht (vgl. BGE 133 V 579 E. 4.3.1 S. 584 mit Hinweis; erwähntes Urteil SVR 2010 IV, E. 6.4; Urteil 8C_699/2010 vom 8. Februar 2011 E. 2) zu beanstanden. Es wird auch nichts Abweichendes geltend gemacht. Die Rückforderung erfolgte somit zu Recht.
3.3 Das kantonale Gericht hat sodann zutreffend erwogen, dass sich die Frage, ob und gegebenenfalls seit wann der Beschwerdeführer in gutem Glauben Rentenleistungen empfangen hat, hier (noch) nicht stellt. Hingegen wird dem Gesichtspunkt der Gutgläubigkeit im Rahmen eines allfälligen Erlassgesuches des Versicherten (Art. 25 Abs. 1 Satz 2 ATSG; E. 3.1 hievor) Bedeutung zukommen. Darüber wäre in einem besonderen Erlassverfahren zu verfügen (Art. 4 ATSV; Urteile C 264/05 vom 25. Januar 2006 E. 2.1 und P 62/04 vom 6. Juni 2005 E. 1.2; vgl. auch BGE 132 V 42 E. 1.2 S. 43 und KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 37 zu Art. 25).
4. Zu prüfen bleibt der Eventualantrag betreffend unentgeltliche Rechtspflege im kantonalen Verfahren. Die Vorinstanz hat deren Gewährung mit der Begründung verweigert, die Beschwerden des Versicherten seien aussichtslos.
4.1 Fehlende Aussichtslosigkeit ist eine der Voraussetzungen für die Gewährung der unentgeltlichen Verbeiständung im Beschwerdeverfahren (SVR 2011 UV Nr. 6 S. 21, 8C_22/2010 E. 6.1 und IV Nr. 22 S. 61, 9C_432/2010 E. 2).
Prozessbegehren sind als aussichtslos anzusehen, wenn die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren, so dass eine Partei, die über die nötigen finanziellen Mittel verfügt, bei vernünftiger Überlegung von einem Prozess absehen würde (BGE 129 I 129 E. 2.3.1 S. 135, 128 I 225 E. 2.5.3 S. 236 mit Hinweis; erwähntes Urteil SVR 2011, E. 6.1).
4.2 Im vorliegenden Fall konnte den Beschwerden aufgrund der Observationsergebnisse und Arztberichte realistischerweise von vornherein kein Erfolg beschieden sein. Die Beschwerden wurden daher zu Recht als aussichtslos betrachtet, weshalb es auch in diesem Punkt beim angefochtenen Entscheid bleibt.
5. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG). Dieser hat zudem keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann nicht entsprochen werden, da auch die letztinstanzliche Beschwerde von vornherein aussichtslos war (Art. 64 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Juni 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz