Sachverhalt:
A.
Mit Vorbescheid vom 27. Juli 2012 stellte die IV-Stelle des Kantons Zürich dem 1970 geborenen A._ in Aussicht, die ihm seit Februar 2010 ausgerichtete halbe Invalidenrente ab März 2012 revisionsweise auf eine ganze Rente zu erhöhen. Der Versicherte machte hierauf geltend, die Erhöhung sei bereits auf einen früheren Zeitpunkt vorzunehmen. Zudem ersuchte er um Gewährung der unentgeltlichen Verbeiständung für das Verwaltungsverfahren. Am 5. März 2013 teilte ihm die IV-Stelle mit, bei den derzeitigen Verhältnissen seien die Voraussetzungen für die unentgeltliche Verbeiständung erfüllt. Nach der materiellen Rentenverfügung sei eine Kostennote einzureichen. Hierauf werde, soweit die Voraussetzungen weiterhin erfüllt seien, über die Höhe der Entschädigung befunden. Nach Sachverhaltsabklärungen und einem weiteren Vorbescheidverfahren erhöhte die IV-Stelle mit Verfügung vom 26. August 2015 die halbe Rente rückwirkend ab September 2011 auf eine ganze Rente. Zudem überwies sie A._ Rentennachzahlungen für die Zeit von September 2011 bis August 2015 im Betrag von Fr. 31'870.-. Am 28. August 2015 reichte die Rechtsvertreterin des Versicherten eine Kostennote ein, in der sie ihr Honorar für das Verwaltungsverfahren auf Fr. 2'704.75 (inkl. Spesen und Mehrwertsteuer) bezifferte. Mit Verfügung vom 24. November 2015 wies die IV-Stelle das Gesuch um unentgeltliche Verbeiständung ab, da der Versicherte nicht mehr bedürftig sei.
B.
Beschwerdeweise beantragte A._, in Aufhebung der Verfügung vom 24. November 2015 sei ihm für beide Einwandverfahren die unentgeltliche Verbeiständung zu gewähren; seine Anwältin sei als unentgeltliche Rechtsvertreterin einzusetzen und ihr sei der Betrag von Fr. 2'704.75 zuzüglich Verzugszinsen zuzusprechen; eventuell sei für das erste Einwandverfahren die unentgeltliche Verbeiständung zu gewähren, seine Anwältin als unentgeltliche Rechtsvertreterin einzusetzen und ihr der Betrag von Fr. 1'916.65 zuzüglich Verzugszinsen zuzusprechen. Das Sozialversicherungsgericht des Kantons Zürich gewährte A._ die unentgeltliche Verbeiständung für das kantonale Verfahren und wies die Beschwerde ab (Entscheid vom 3. März 2016).
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt die Aufhebung des kantonalen Entscheids und erneuert seine vorinstanzlichen Rechtsbegehren zur unentgeltlichen Verbeiständung im Verwaltungsverfahren, mit der Ergänzung, der geltend gemachte Verzugszins sei ab 28. August 2015 zusprechen. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die IV-Stelle beantragt Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280; vgl. auch <ref-ruling> E. 1 S. 236; <ref-ruling> E. 1.1 S. 137 f.). Das Bundesgericht kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig und zu prüfen ist, ob der vorinstanzliche Entscheid, wonach die unentgeltliche Verbeiständung für das Verwaltungsverfahren zu Recht verweigert wurde, gegen Bundesrecht verstösst.
Gerügt wird in der Beschwerde in erster Linie eine Verletzung des Anspruchs auf unentgeltliche Verbeiständung gemäss <ref-law>. Nach dieser Verfassungsnorm hat jede Partei, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint; soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Dies gilt für das Gerichts- wie für das Verwaltungsverfahren (<ref-ruling> E. 2.3 S. 227 mit Hinweis).
3.
Die Vorinstanz hat, in Bestätigung der angefochtenen Verfügung, den Anspruch auf unentgeltliche Verbeiständung im Verwaltungsverfahren mit der Begründung verneint, die finanziellen Mittel des Versicherten genügten, um die angefallenen Kosten seiner Rechtsvertreterin von Fr. 2'704.75 zu bezahlen. Verneint wird mithin die finanzielle Bedürftigkeit. Offensichtlich bejaht wurden hingegen die übrigen Voraussetzungen der unentgeltlichen Verbeiständung.
4.
4.1. Das kantonale Gericht hat bei der Prüfung der Bedürftigkeit als erstes erwogen, pro Monat seien Einnahmen von Fr. 2'543.- und Auslagen von Fr. 2'424.65 zu verzeichnen. Daraus resultiere ein Einnahmenüberschuss von Fr. 118.35.
Der Beschwerdeführer wendet ein, auf der Ausgabenseite seien zusätzlich Diätkosten wegen Diabetes anzurechnen. Solche Kosten hat er aber nach Lage der Akten weder im Verwaltungs- noch im kantonalen Beschwerdeverfahren beziffert. Er holt dies auch letztinstanzlich nicht nach, wobei ohnehin fraglich ist, ob dies überhaupt novenrechtlich (<ref-law>) zulässig wäre. Damit können solche Kosten nicht berücksichtigt werden.
4.2. Die Vorinstanz hat sich im Weiteren damit befasst, ob der Beschwerdeführer über Vermögen verfügt, welches gegebenenfalls zur Bestreitung der Anwaltskosten verwendet werden könnte. Es hat erwogen, dem Versicherten sei zwar im Jahr 2015 eine Rentennachzahlung von Fr. 31'870.- ausgerichtet worden. Dieser Betrag könne aber nicht berücksichtigt werden, da er unter den Ansätzen für den Vermögensfreibetrag von alleinstehenden Personen liege. Weiteres Vermögen liege nicht vor.
Ob ein so hoher Vermögensfreibetrag (im Sinne einer Notreserve, eines "Notgroschens") Bundesrecht entspricht, bedürfte grundsätzlicher näherer Betrachtung, kann aber offen bleiben. Denn der Versicherte hat schon im kantonalen Verfahren geltend gemacht, er habe die Rentennachzahlung für die Rückerstattung bezogener Zusatzleistungen zur IV zu verwenden. Dies belegt er auch mit Verfügungen der kommunalen Durchführungsstelle Zusatzleistungen zur AHV/IV, in welchen eine solche Rückerstattung aufgrund der rückwirkenden Erhöhung der IV-Rente von ihm verlangt wird.
4.3. Nach dem Gesagten bleibt es bei einem Einkommensüberschuss von Fr. 118.35 im Monat und der Feststellung, dass kein Vermögen vorhanden ist.
5.
5.1. Das kantonale Gericht hat erwogen, die Grenze der Geringfügigkeit, bis zu der eine Person nicht jeden Franken für die Prozesskosten einzusetzen habe, sei bei einem Einkommensüberschuss von ca. Fr. 100.- zu ziehen. Mit dem gegebenen Einnahmenüberschuss von Fr. 118.35 werde es dem Beschwerdeführer möglich sein, die Kosten der Rechtsvertretung von Fr. 2'704.75 ratenweise innerhalb eines Zeitraums von 23 Monaten zu tilgen. Insgesamt erscheine der Einnahmenüberschuss von Fr. 118.35 gerade noch als nicht geringfügig. Dem Beschwerdeführer sei daher zuzumuten, die Kosten der Rechtsvertretung im Verwaltungsverfahren ratenweise zu tilgen.
5.2. Diese Beurteilung rügt der Beschwerdeführer zu Recht als verfassungswidrig. Ob ein gegebener Einkommensüberschuss genügt, um Verfahrenskosten zu bezahlen, kann sich nicht nach einer festen Betragsgrenze bestimmen. Zu berücksichtigen sind vielmehr die gesamten finanziellen Verhältnisse. Sodann mag zwar sein, dass - wie vom kantonalen Gericht erwogen - in einzelnen Urteilen und einem Teil der Lehre derart lange Abzahlungsdauern für zumutbar erachtet wurden. Das kann aber jedenfalls dann nicht gelten, wenn sich wie hier die Einkünfte/Ausgaben auf einem sehr niedrigen Niveau bewegen, mit entsprechend geringem Spielraum bei der Geldverwendung, und darüber hinaus auch keinerlei Vermögen vorhanden ist, d.h. nicht einmal ein "Notgroschen", welcher für unvorhergesehene dringende Ausgaben zur Verfügung stünde. Zwar lässt sich aus <ref-law> kein Anspruch auf Äufnung eines Notgroschens ableiten (Urteil 5A_612/2010 vom 26. Oktober 2010 E. 2.4 mit Hinweis; vgl. auch Urteil 4A_664/2015 vom 19. Mai 2016 E. 4.2.2 mit weiteren Hinweisen). Sind die finanziellen Verhältnisse aber derart beengt, kann ein Einkommensüberschuss von Fr. 118.35 nicht genügen, um der gesuchstellenden Person die Bezahlung ihrer Anwaltskosten zuzumuten. So wurde denn auch im Urteil 9C_253/2009 vom 11. Januar 2010 E. 4.4 entschieden, ein Einkommensüberschuss von Fr. 111.70 genüge selbst bei vorhandenem Notgroschen nicht, um Gerichtskosten von geschätzt Fr. 800.- und Anwaltskosten, welche Fr. 600.- klar überstiegen, aber ansonsten noch nicht beziffert waren, zu bezahlen.
5.3. Nach dem Gesagten verletzt die Verneinung der finanziellen Bedürftigkeit und damit einhergehend die Verweigerung der unentgeltlichen Verbeiständung für das Verwaltungsverfahren <ref-law>. Die Beschwerde ist daher diesbezüglich gutzuheissen, ohne dass noch geprüft werden muss, wie es sich mit den weiteren Rügen des Versicherten verhält.
6.
Auf die Anträge zum Entschädigungsbetrag, welcher der unentgeltlichen Rechtsvertreterin zuzusprechen ist, und zum darauf gegebenenfalls zu entrichtenden Verzugszins kann nicht eingetreten werden. Hiefür hat die unentgeltliche Rechtsvertreterin selber den Rechtsweg zu beschreiten (vgl. <ref-ruling> E. 4 S. 121), sofern sich keine Einigung mit der Verwaltung ergibt.
7.
Die Beschwerdegegnerin ist als weitgehend unterliegend zu betrachten und hat daher die Kosten des Verfahrens zu tragen (<ref-law>). Sie hat überdies dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Damit ist das Gesuch um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen, soweit darauf einzutreten ist. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 3. März 2016 und die Verfügung der IV-Stelle des Kantons Zürich vom 24. November 2015 werden aufgehoben. Es wird festgestellt, dass der Beschwerdeführer Anspruch auf unentgeltliche Verbeiständung im Verwaltungsverfahren hat.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat die Rechtsvertreterin des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Dezember 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Lanz