Sachverhalt: A. Mit Vorbescheid vom 27. Juli 2012 stellte die IV-Stelle des Kantons Zürich dem 1970 geborenen A._ in Aussicht, die ihm seit Februar 2010 ausgerichtete halbe Invalidenrente ab März 2012 revisionsweise auf eine ganze Rente zu erhöhen. Der Versicherte machte hierauf geltend, die Erhöhung sei bereits auf einen früheren Zeitpunkt vorzunehmen. Zudem ersuchte er um Gewährung der unentgeltlichen Verbeiständung für das Verwaltungsverfahren. Am 5. März 2013 teilte ihm die IV-Stelle mit, bei den derzeitigen Verhältnissen seien die Voraussetzungen für die unentgeltliche Verbeiständung erfüllt. Nach der materiellen Rentenverfügung sei eine Kostennote einzureichen. Hierauf werde, soweit die Voraussetzungen weiterhin erfüllt seien, über die Höhe der Entschädigung befunden. Nach Sachverhaltsabklärungen und einem weiteren Vorbescheidverfahren erhöhte die IV-Stelle mit Verfügung vom 26. August 2015 die halbe Rente rückwirkend ab September 2011 auf eine ganze Rente. Zudem überwies sie A._ Rentennachzahlungen für die Zeit von September 2011 bis August 2015 im Betrag von Fr. 31'870.-. Am 28. August 2015 reichte die Rechtsvertreterin des Versicherten eine Kostennote ein, in der sie ihr Honorar für das Verwaltungsverfahren auf Fr. 2'704.75 (inkl. Spesen und Mehrwertsteuer) bezifferte. Mit Verfügung vom 24. November 2015 wies die IV-Stelle das Gesuch um unentgeltliche Verbeiständung ab, da der Versicherte nicht mehr bedürftig sei. B. Beschwerdeweise beantragte A._, in Aufhebung der Verfügung vom 24. November 2015 sei ihm für beide Einwandverfahren die unentgeltliche Verbeiständung zu gewähren; seine Anwältin sei als unentgeltliche Rechtsvertreterin einzusetzen und ihr sei der Betrag von Fr. 2'704.75 zuzüglich Verzugszinsen zuzusprechen; eventuell sei für das erste Einwandverfahren die unentgeltliche Verbeiständung zu gewähren, seine Anwältin als unentgeltliche Rechtsvertreterin einzusetzen und ihr der Betrag von Fr. 1'916.65 zuzüglich Verzugszinsen zuzusprechen. Das Sozialversicherungsgericht des Kantons Zürich gewährte A._ die unentgeltliche Verbeiständung für das kantonale Verfahren und wies die Beschwerde ab (Entscheid vom 3. März 2016). C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt die Aufhebung des kantonalen Entscheids und erneuert seine vorinstanzlichen Rechtsbegehren zur unentgeltlichen Verbeiständung im Verwaltungsverfahren, mit der Ergänzung, der geltend gemachte Verzugszins sei ab 28. August 2015 zusprechen. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht. Die IV-Stelle beantragt Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.