Sachverhalt:
A. In einem vor dem Sozialversicherungsgericht des Kantons Zürich hängigen Beschwerdeverfahren betreffend Leistungen der Invalidenversicherung ersuchte S._ als Beschwerdeführer um Gewährung der unentgeltlichen Prozessführung und um Bestellung seines Rechtsvertreters als unentgeltlicher Prozessbeistand.
B. Mit Verfügung vom 11. Mai 2010 wies das Sozialversicherungsgericht das Gesuch ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des vorinstanzlichen Entscheids sei ihm für das kantonale Verfahren die unentgeltliche Rechtsvertretung zu gewähren. Zudem wird um unentgeltliche Rechtspflege (im Sinne der Befreiung von Gerichtskosten und der unentgeltlichen Verbeiständung) für das letztinstanzliche Verfahren ersucht.
Das kantonale Gericht, die IV-Stelle des Kantons Zürich und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Das Bundesgericht darf nicht über die Begehren der Parteien hinausgehen (<ref-law>). Der Beschwerdeantrag bezieht sich ausdrücklich nur auf die von der Vorinstanz verweigerte unentgeltliche Verbeiständung. Auch der Beschwerdebegründung lässt sich nicht zumindest mit einiger Bestimmtheit entnehmen, dass der vorinstanzliche Entscheid darüber hinaus angefochten werden soll. Ausschliesslich die unentgeltliche Verbeiständung im kantonalen Verfahren kann demnach Gegenstand des vorliegenden Prozesses bilden.
2. Der selbstständig eröffnete Entscheid, mit dem im vorinstanzlichen Verfahren ein Gesuch um unentgeltliche Verbeiständung abgewiesen wurde, stellt praxisgemäss einen Zwischenentscheid dar, welcher geeignet ist, einen nicht wieder gutzumachenden Nachteil zu verursachen, und daher sofort gesondert angefochten werden kann (<ref-law>; SVR 2009 UV Nr. 12 S. 49, 8C_530/2008 E. 2.3 und 2.4; Urteile 8C_26/2010 vom 27. Mai 2010 E. 1 und 8C_172/2010 vom 29. März 2010 E. 1 mit Hinweisen). Die übrigen Voraussetzungen für das Eintreten auf die Beschwerde sind ebenfalls erfüllt.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts durch die Vorinstanz kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
4. Der Beschwerdeführer beruft sich namentlich auf den verfassungsrechtlichen Anspruch gemäss <ref-law>. Danach hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand.
Streitig und zu prüfen ist hier, wie dargelegt (E. 1 hievor), der Anspruch auf unentgeltlichen Rechtsbeistand im kantonalen Verfahren.
5. 5.1 Das kantonale Gericht hat die prozessuale Bedürftigkeit des Beschwerdeführers - als eine der Voraussetzungen für die Gewährung der unentgeltlichen Verbeiständung - verneint. Es hat hiezu erwogen, der Beschwerdeführer habe in der Eingabe vom 16. April 2010 angegeben, gemäss Steuererklärung hätten Ende 2008 rund Fr. 40'000.- auf einem Bankkonto gelegen. Er habe geltend gemacht, dieses Vermögen sei zwischenzeitlich niedriger geworden, da er davon seinen Lebensunterhalt habe bestreiten müssen. Bankauszüge habe der Beschwerdeführer nicht eingereicht. In Widerspruch dazu sei den Angaben der Steuerbehörde vom 23. März 2010 indes zu entnehmen, dass das Vermögen per Ende 2009 von Fr. 43'000.- auf Fr. 103'000.- gestiegen sei. Der Beschwerdeführer habe es unterlassen, diese Vermögenszunahme zu erläutern und seine finanzielle Situation zu belegen. Auch die Verfügung betreffend Zusatzleistungen (der Wohngemeinde) sei nicht vollständig eingereicht worden, so dass die Berechnungsgrundlagen und namentlich auch die Vermögenssituation nicht aktenkundig gemacht worden sei. Einerseits könne unter diesen Umständen vom Beschwerdeführer erwartet werden, dass er aus seinem Vermögen von über Fr. 100'000.- per Ende 2009 die Kosten des kantonalen Verfahrens von höchstens Fr. 1'000.- wie auch die Anwaltskosten bestreite. Anderseits sei die Behauptung des Beschwerdeführers, dieses Vermögen sei nicht (mehr) vorhanden, in keiner Weise belegt.
Der Beschwerdeführer wendet ein, die Sachverhaltsfeststellung eines Anstiegs seines Vermögen von Fr. 43'000.- per Ende 2008 auf Fr. 103'000.- per Ende 2009 sei offensichtlich unrichtig. Die Vorinstanz habe bei der Annahme einer solchen Vermögenszunahme die Bestätigung der Steuerbehörde vom 23. März 2010 falsch verstanden. Deren Angabe eines Vermögens von Fr. 103'000.- habe auf der provisorischen Steuerveranlagung für das Jahr 2009 und diese wiederum auf den Zahlen von 2007 beruht.
5.2 Der Beschwerdeführer hat im vorinstanzlichen Verfahren nebst anderem die Bestätigung der kommunalen Steuerbehörde vom 23. März 2010 und seine Steuererklärung für das Jahr 2008 eingereicht. In der Bestätigung führt die Steuerbehörde an, für die Staats- und Gemeindesteuer werde gemäss "prov. Rechnung 2009" von einem Vermögen von Fr. 103'000.- und gemäss "amtlicher Einschätzung im Jahr 2008" von einem Vermögen von Fr. 43'000.- ausgegangen. Es versteht sich von selbst, dass die Vermögensangabe für die provisorische Rechnung auf einer früheren definitiven Steuerveranlagung beruht, wobei es sich hier aufgrund der zeitlichen Verhältnisse um diejenige für das Jahr 2007 gehandelt hat. Dies wurde auch in der Steuererklärung 2008 verdeutlicht. In deren Hauptbogen sowie im Wertschriften- und Guthabenverzeichnis bezifferte der Beschwerdeführer das Vermögen per Ende 2008 auf Fr. 43'216.-, und in der Beilage zur Steuererklärung hielt er überdies fest, das steuerbare Vermögen habe im Jahr 2007 Fr. 103'049.- und im Jahr 2008 Fr. 43'216.- betragen. Letztinstanzlich legt der Beschwerdeführer überdies - als zulässiges Novum - eine Erklärung der kommunalen Steuerbehörde vom 25. Mai 2010 auf. Darin wird ausdrücklich bestätigt, dass die Steuerauskunft vom 23. März 2010 die definitive Veranlagung 2008 und die provisorische Veranlagung 2009 umfasste und die Daten der letzteren auf den Zahlen 2007 gründeten.
Aus dem Gesagten ergibt sich, dass das kantonale Gericht das für die Prozessführung verfügbare Vermögen offensichtlich unrichtig festgesetzt hat. Dies führt zur Aufhebung des angefochtenen Entscheids, soweit die unentgeltliche Verbeiständung betreffend. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie über das entsprechende Gesuch neu befinde. In diesem Sinne ist die Beschwerde gutzuheissen.
Damit kann offenbleiben, ob die Vorinstanz bei den Sachverhaltsermittlungen zum Vermögen überspitzt formalistisch vorgegangen ist, wie der Beschwerdeführer weiter geltend macht.
5.3 Im Rahmen der neuen Entscheidung wird sich das kantonale Gericht auch mit dem Vorbringen des Beschwerdeführers - und der sich hiezu ebenfalls äussernden steuerbehördlichen Erklärung vom 25. Mai 2010 - zu befassen haben, wonach das steuerbare Vermögen im Jahr 2009 nurmehr Fr. 1'754.- betragen habe.
6. Gerichtskosten sind keine zu erheben (<ref-law>). Die unterliegende Vorinstanz resp. der Kanton Zürich hat dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Damit ist dessen Gesuch um unentgeltliche Rechtspflege im letztinstanzlichen Verfahren gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass die Verfügung des Sozialversicherungsgerichts des Kantons Zürich vom 11. Mai 2010, soweit auf Abweisung des Gesuchs um unentgeltliche Rechtsvertretung lautend, aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit sie im Sinne der Erwägungen über das Gesuch neu entscheide.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. November 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz