Sachverhalt:
A.
Der 1987 geborene A._ meldete sich im Juni 2020 bei der Invalidenversicherung zum Leistungsbezug an. Mit Vorbescheid vom 19. Januar 2021 stellte die IV-Stelle des Kantons Zürich die Ablehnung eines Rentenanspruchs bei einem Invaliditätsgrad von 4 % in Aussicht. A._ liess am 17. Februar 2021 dagegen Einwände erheben und am 22. Februar 2021 um unentgeltlichen Rechtsbeistand für das Vorbescheidverfahren ersuchen. Nach weiteren Einwänden verneinte die IV-Stelle mit unangefochten gebliebener Verfügung vom 6. April 2021 einen Rentenanspruch bei einem Invaliditätsgrad von 10 %. Mit Verfügung vom 11. Mai 2021 wies sie das Gesuch um unentgeltliche Verbeiständung ab.
B.
A._ liess gegen die Verfügung vom 11. Mai 2021 Beschwerde erheben. Das Sozialversicherungsgericht des Kantons Zürich wies das Rechtsmittel mit Urteil vom 27. August 2021 ab. In der gleichen Sache liess A._ dem kantonalen Gericht am 9. September 2021 (Poststempel) eine weitere Eingabe und eine Honorarnote einreichen. Am 14. September 2021 wurde seinem Rechtsvertreter das Urteil vom 27. August 2021 zugestellt.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Urteils vom 27. August 2021 und der Verfügung vom 11. Mai 2021 sei das Gesuch um unentgeltlichen Rechtsbeistand gutzuheissen; eventualiter sei die Sache zur ergänzenden Abklärung und Durchführung eines Beweisverfahrens an die Vorinstanz zurückzuweisen. Ferner lässt er um unentgeltliche Rechtspflege ersuchen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. A._ lässt eine weitere Eingabe und eine Honorarnote einreichen.
Erwägungen:
1.
1.1. Nachdem über die Hauptsache (Rentenanspruch) bereits mit Verfügung vom 6. April 2021 definitiv entschieden wurde, stellt das vorinstanzliche Urteil keinen Vor- oder Zwischenentscheid im Sinne von Art. 93 BGG, sondern einen direkt anfechtbaren Endentscheid im Sinne von Art. 90 BGG dar.
1.2. Die Vorbringen in der nachträglichen Eingabe vom 30. November 2021 sind verspätet (vgl. Art. 100 Abs. 1 i.V.m. Art. 44 ff. BGG) und daher von vornherein unzulässig.
2.
2.1. Der Beschwerdeführer rügt vorab, die Beschwerdeantwort der IV-Stelle vom 16. August 2021 sei seinem Rechtsvertreter mit der Verfügung vom 20. August 2021 zugestellt worden; diese sei aber erst am 26. August 2021 dort eingegangen. Bereits am 27. August 2021 sei das angefochtene Urteil gefällt worden. Er habe nicht rechtzeitig auf die neuen und falschen Behauptungen der IV-Stelle reagieren können. Damit habe die Vorinstanz seinen Anspruch auf rechtliches Gehör derart krass verletzt, dass von Nichtigkeit des angefochtenen Urteils auszugehen sei.
2.2. Gemäss Art. 29 Abs. 1 und 2 BV sowie Art. 6 Ziff. 1 EMRK (in Bezug auf zivilrechtliche Ansprüche und Verpflichtungen und strafrechtliche Anklagen) haben die Parteien eines Gerichtsverfahrens Anspruch auf rechtliches Gehör und auf ein faires Gerichtsverfahren, unter Beachtung des Grundsatzes der Waffengleichheit. Diese Garantien umfassen das Recht, von allen bei Gericht eingereichten Stellungnahmen Kenntnis zu erhalten und sich dazu äussern zu können, unabhängig davon, ob die Eingaben neue und/oder wesentliche Vorbringen enthalten. Es ist Sache der Parteien zu beurteilen, ob eine Entgegnung erforderlich ist oder nicht (Replikrecht; BGE 138 I 484 E. 2.1 mit Hinweisen). Zur Wahrung des Replikrechts genügt es, dass den Parteien die Eingaben zur Information (Kenntnisnahme, Orientierung) zugestellt werden, wenn von ihnen, namentlich von anwaltlich Vertretenen oder von Rechtskundigen, erwartet werden kann, dass sie unaufgefordert Stellung nehmen (vgl. BGE 138 I 484 E. 2.4; Urteil 1C_338/2020 vom 19. Januar 2021 E. 2.3). Ferner ist das Gericht nach einer Zustellung zur Kenntnisnahme gehalten, während einer angemessenen Zeitspanne mit dem Entscheid zuzuwarten. Vor Ablauf von zehn Tagen darf es im Allgemeinen nicht von einem Verzicht auf das Replikrecht ausgehen, hingegen nach zwanzig Tagen schon (Urteile 1C_661/2020 vom 15. April 2021 E. 2.2; 1C_338/2020 vom 19. Januar 2021 E. 2.3; je mit Hinweisen).
2.3. Die prozessleitende Verfügung vom 20. August 2021, mit der das Sozialversicherungsgericht dem Beschwerdeführer resp. seinem Rechtsvertreter die Beschwerdeantwort der IV-Stelle eröffnete, trägt den Versandstempel vom 23. August 2021. Das kantonale Gericht stellt nicht in Abrede, dass sie erst am 26. August 2021 zugestellt wurde. 14 Tage später, am 9. September 2021, wurde die Replik eingereicht. Die Vorinstanz macht nicht geltend, dass sie bei diesen Gegebenheiten von einem Verzicht auf das Replikrecht hätte ausgehen dürfen. Ein solcher ist angesichts der soeben (in E. 2.2) dargelegten Rechtsprechung auch nicht zwingend anzunehmen.
Indem das Sozialversicherungsgericht d as angefochtene Urteil bereits am 27. August 2021 gefällt hatte, verletzte es den Anspruch des Beschwerdeführers auf rechtliches Gehör. Eine Heilung dieses Mangels im bundesgerichtlichen Verfahren ist nicht möglich (vgl. BGE 133 I 100 E. 4.9; Urteil 1C_338/2020 vom 19. Januar 2021 E. 2.6).
2.4. Abgesehen davon, dass kein Antrag auf Feststellung der Nichtigkeit gestellt wird, leuchtet nicht ein, weshalb allein aufgrund der Verweigerung des Replikrechts darauf geschlossen werden müsste (vgl. BGE 147 IV 93 E. 1.4.4; 145 III 436 E. 4). Weiterungen dazu erübrigen sich. Ebenso wenig ist an dieser Stelle auf die anderen (materiellen) Ausführungen des Beschwerdeführers einzugehen. Die Beschwerde ist insoweit gutzuheissen, als der angefochtene Entscheid aufzuheben und die Sache zu neuer Beurteilung unter Gewährung des rechtlichen Gehörs an die Vorinstanz zurückzuweisen ist.
3.
Auf die Erhebung von Gerichtskosten wird umständehalber verzichtet (Art. 66 Abs. 1 Satz 2 BGG). Der Beschwerdeführer hat Anspruch auf eine Parteientschädigung entsprechend der eingereichten Honorarnote (Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Sozialversicherungsgerichts des Kantons Zürich vom 27. August 2021 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 1827.60 zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Dezember 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Dormann