Erwägungen:
1.
1.1. A._ rekurriert vor dem Appellationsgericht des Kantons Basel-Stadt gegen eine Verfügung der Baurekurskommission vom 28. Juli 2021 (VD.2021.179), mit der sein Gesuch um unentgeltliche Rechtspflege und Verbeiständung in einem Baubewilligungsverfahren abgewiesen wurde, soweit darauf eingetreten werden konnte. Auch im Rahmen des Verfahrens vor dem Appellationsgericht ersuchte A._ um unentgeltliche Prozessführung und Verbeiständung. Mit prozessleitender Verfügung vom 17. August 2021 verzichtete das Appellationsgericht einstweilen auf die Erhebung eines Kostenvorschusses und wies das Gesuch um Bewilligung der unentgeltlichen Verbeiständung ab. Am 20. August 2021 nahm das Appellationsgericht eine Eingabe von A._ vom 18. August 2021 zu den Akten und setzte ihm eine nicht erstreckbare Frist zur Rekursbegründung an. Mit Bezug auf die beantragte Befreiung von den Verfahrenskosten verwies es auf die Verfügung vom 17. August 2021. Auf ein Gesuch um Wiedererwägung resp. Revision der Verfügung vom 17. August 2021 trat das Appellationsgericht mit verfahrensleitender Verfügung vom 16. September 2021 nicht ein.
1.2. Gegen die Verfügungen des Appellationsgerichts vom 17. und 20. August sowie vom 16. September 2021 gelangt A._ mit Beschwerde vom 24. September 2021 an das Bundesgericht. Er beantragt sinngemäss die Aufhebung dieser Verfügungen, soweit sie den Antrag um unentgeltliche Rechtspflege und Verbeiständung betreffen, und die Befreiung von den Verfahrenskosten sowie die Beigabe eines unentgeltlichen Rechtsvertreters für das kantonale und das bundesgerichtliche Verfahren. Weiter wendet er sich gegen die vom Appellationsgericht angesetzte Frist zur Rekursbegründung.
Das Appellationsgericht beantragt die Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Die Baurekurskommission lässt sich vernehmen, ohne einen Antrag zu stellen. A._ äussert sich dazu mit Eingabe vom 27. November 2021.
2.
2.1. Die Beschwerde richtet sich gegen prozessleitende Verfügungen einer letzten kantonalen Gerichtsinstanz (vgl. Art. 86 Abs. 1 lit. d und Abs. 2 BGG). In der Hauptsache ist eine baurechtliche Frage umstritten, die das Bundesgericht im Verfahren der Beschwerde in öffentlich-rechtlichen Angelegenheiten beurteilen kann (vgl. Art. 34 Abs. 1 RPG [SR 700]; Art. 82 lit. a und Art. 83 BGG). Gegen Zwischenverfügungen in diesem Rechtsstreit steht daher ebenfalls die Beschwerde in öffentlich-rechtlichen Angelegenheiten zur Verfügung (vgl. <ref-ruling> E. 1.3; <ref-ruling> E. 1.1). Der Beschwerdeführer ist als Partei des vorinstanzlichen Verfahrens unmittelbarer Adressat der angefochtenen Verfügungen und grundsätzlich zur Beschwerde berechtigt (vgl. Art. 89 Abs. 1 BGG). Unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 1 und Abs. 2, Art. 106 Abs. 2 BGG) und der Voraussetzungen für die Anfechtbarkeit von Zwischenentscheiden (vgl. Art. 93 BGG; dazu sogleich E. 2.2) ist auf das Rechtsmittel einzutreten.
2.2. Die angefochtenen Verfügungen vom 17. und 20. August sowie vom 16. September 2021 bringen das vorinstanzliche Verfahren weder ganz noch teilweise zum Abschluss (vgl. Art. 90 und Art. 91 BGG). Zudem betreffen sie nicht die Zuständigkeit und auch keine Ausstandsbegehren (vgl. Art. 92 BGG). Vielmehr handelt es sich um Zwischenentscheide im Sinne von Art. 93 Abs. 1 BGG, gegen die eine Beschwerde nur zulässig ist, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Da Letzteres hier ausgeschlossen ist, sind die angefochtenen Verfügungen vor dem Bundesgericht nur unter der Voraussetzung von Art. 93 Abs. 1 lit. a BGG anfechtbar.
2.2.1. Die Verweigerung der unentgeltlichen Rechtspflege, verbunden mit der Aufforderung zur Leistung eines Kostenvorschusses unter Androhung des Nichteintretens im Säumnisfall, stellt einen nicht wieder gutzumachenden Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG dar, sofern die gesuchstellende Person geltend macht, sie sei mittellos (vgl. <ref-ruling> E. 2.3.1 und E. 2.3.5; Urteile 2C_ 489/2021 vom 27. September 2021 E. 1.1; 1C_434/2020 vom 20. Oktober 2020 E. 1.1). In der Regel ebenfalls einen nicht wieder gutzumachenden Nachteil gemäss Art. 93 Abs. 1 lit. a BGG bewirkt die Abweisung eines Gesuchs um Beiordnung eines unentgeltlichen Rechtsvertreters (vgl. <ref-ruling> E. 1.1; Urteile 5A_734/2015 vom 17. Dezember 2015 E. 1 [nicht publ. in: <ref-ruling>]; 1B_162/2020 vom 21. Oktober 2020 E. 2.1; 1C_547/2018 vom 9. November 2018 E. 2).
2.2.2. Die Vorinstanz verzichtete mit Verfügung vom 17. August 2021 vorerst auf die Erhebung eines Kostenvorschusses. In der Verfügung vom 20. August 2021 verwies sie in Bezug auf die Befreiung von den Verfahrenskosten auf die Verfügung vom 17. August 2021 und auf ein Gesuch um Wiedererwägung bzw. Revision der Verfügung vom 17. August 2021 trat sie mit Anordnung vom 16. September 2021 nicht ein. Ein Entscheid über die Befreiung von den Verfahrenskosten im vorinstanzlichen Verfahren steht somit noch aus, wobei die Vorinstanz in diesem Punkt mit dem Urteil in der Sache entscheiden wird. Der einstweilige Verzicht auf die Erhebung eines Kostenvorschusses verursacht dem Beschwerdeführer bei dieser Ausgangslage keinen nicht wieder gutzumachenden Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG. Auf die Beschwerde ist insoweit nicht einzutreten.
2.2.3. Unter dem Blickwinkel von Art. 93 Abs. 1 lit. a BGG zulässig ist die Beschwerde hingegen, soweit sich der Beschwerdeführer gegen die Verweigerung der unentgeltlichen Verbeiständung gemäss Verfügung vom 17. August 2021 wendet. Ebenfalls zulässig ist die Beschwerde in Bezug auf die mit Verfügung vom 16. September 2021 verweigerte Revision bzw. Wiedererwägung der Verfügung vom 17. August 2021.
2.2.4. Der Beschwerdeführer wendet sich auch gegen die Ansetzung bestimmter Fristen durch die Vorinstanz. So gewährte ihm die Vorinstanz mit Verfügung vom 20. August 2021 eine nicht erstreckbare Frist zur Rekursbegründung bis 15. September 2021 an. Allerdings ist weder dargetan noch ersichtlich, inwieweit diese Fristansetzung zu einem nicht wieder gutzumachenden Nachteil führen soll (Art. 93 Abs. 1 lit. a BGG). Die Voraussetzungen zur Beschwerde an das Bundesgericht sind in diesem Punkt nicht gegeben. Darauf ist nicht einzutreten.
3.
Das Rechtsmittel ist zulässig, soweit sich der Beschwerdeführer gegen die Verweigerung der unentgeltlichen Verbeiständung wendet. Allerdings erweist sich die Beschwerde in diesem Punkt als offensichtlich unbegründet, sodass sie im vereinfachten Verfahren gemäss Art. 109 Abs. 2 lit. a BGG mit summarischer Begründung und Verweisung auf den angefochtenen Entscheid abzuweisen ist, soweit darauf eingetreten werden kann.
3.1. Der Beschwerdeführer wendet sich unter anderem gegen die Verfügung vom 16. September 2021, mit der die Vorinstanz auf ein Gesuch um Wiedererwägung resp. Revision der Verfügung vom 17. August 2021 nicht eintrat. Zur Begründung führte die Vorinstanz aus, der Beschwerdeführer bringe nichts Neues vor, das nicht schon mit der Verfügung vom 17. August 2021 berücksichtigt worden sei.
Im vorinstanzlichen Verfahren kommt kantonales Prozessrecht zur Anwendung. Das kantonale Recht wird vom Bundesgericht unter Vorbehalt von hier nicht einschlägigen Ausnahmen (vgl. Art. 95 lit. c-e BGG) nicht als solches, sondern nur unter dem Blickwinkel des übergeordneten (Bundes-) Rechts überprüft (vgl. Art. 95 lit. a und lit. b BGG). Der Verletzung von kantonalem Recht geht das Bundesgericht nach, wenn eine solche Rüge in der Beschwerde vorgebracht und begründet wird (vgl. Art. 106 Abs. 2 BGG).
Der Beschwerdeführer nennt keine einschlägigen kantonalen Normen, welche die Vorinstanz verletzt haben soll, indem sie auf sein Gesuch um Wiedererwägung resp. Revision der Verfügung vom 17. August 2021 nicht eintrat. Insbesondere zeigt er keine willkürliche Rechtsanwendung (vgl. Art. 9 BV) durch die Vorinstanz auf. Ebensowenig legt er dar, inwieweit ihm aus bundesrechtlicher Sicht ein Anspruch auf Wiedererwägung der Verfügung vom 17. August 2021 zugestanden haben soll (vgl. Art. 29 Abs. 1 BV; <ref-ruling> E. 4.3; <ref-ruling> E. 2.1). Mit Blick auf die Verfügung vom 16. September 2021 erweist sich die Beschwerde als unbegründet.
3.2. Weiter wendet sich der Beschwerdeführer gegen die Verweigerung der unentgeltlichen Verbeiständung gemäss verfahrensleitender Verfügung vom 17. August 2021.
3.2.1. Die Vorinstanz legte die Voraussetzungen für einen Anspruch auf unentgeltliche Rechtsverbeiständung gemäss Art. 29 Abs. 3 BV grundsätzlich zutreffend dar, worauf an dieser Stelle verwiesen werden kann (vgl. Art. 109 Abs. 3 BGG; zudem <ref-ruling> E. 2.2; Urteil 1D_6/2010 vom 10. September 2010 E. 3). Sie lehnte das Gesuch mit der Begründung ab, dem Beschwerdeführer drohe kein besonders starker Eingriff in seine Rechtsstellung und der angefochtene Entscheid biete keine besonderen Schwierigkeiten in tatsächlicher oder rechtlicher Hinsicht. Dem Beschwerdeführer sei es ohne Weiteres auch ohne einen Rechtsvertreter möglich, in tatsächlicher oder rechtlicher Hinsicht darzulegen, inwieweit er den angefochtenen Entscheid für unrichtig halte.
3.2.2. Dagegen macht der Beschwerdeführer hauptsächlich geltend, er sei mittellos und rechtsunkundig. Insbesondere verstehe er nicht, was er in rechtlicher oder tatsächlicher Hinsicht gegen den angefochtenen Entscheid im kantonalen Verfahren vorbringen könne. Soweit seine Ausführungen die (angebliche) Mittellosigkeit betreffen, gehen sie an der Sache vorbei. Die Vorinstanz lehnte die Beigabe eines unentgeltlichen Rechtsvertreters nicht wegen fehlender Mittellosigkeit ab, sondern verneinte einen besonders starken Eingriff in die Rechtsstellung des Beschwerdeführers sowie besondere tatsächliche und rechtliche Schwierigkeiten. Auch im bundesgerichtlichen Verfahren zeigt der Beschwerdeführer nicht auf, inwieweit seine Interessen im zugrunde liegenden Baubewilligungsverfahren in einer Intensität betroffen sein könnten, die den Beizug eines Rechtsvertreters zur Wahrung seiner Rechte erforderlich machen könnte. Derartiges ist mit Blick auf die kantonalen Akten auch nicht ersichtlich, da es in der Sache um den Einbau eines Schwimmbads im Vorgarten der Nachbarliegenschaft des vom Beschwerdeführer bewohnten Grundstücks geht. Die Vorinstanz hat den Anspruch auf unentgeltliche Verbeiständung zu Recht verneint.
4.
Nach dem Dargelegten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren ist im Sinne der vorstehenden Erwägungen ebenfalls abzuweisen (vgl. Art. 64 BGG). Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Gerichtskosten (vgl. Art. 66 Abs. 1 BGG). Parteientschädigungen sind nicht geschuldet (vgl. Art. 68 Abs. 1 und Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Appellationsgericht des Kantons Basel-Stadt, Präsident, schriftlich mitgeteilt.
Lausanne, 21. Januar 2022
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Baur