Faits :
A.
Le 15 juin 2021, A._ a interjeté recours à l'encontre de la décision de l'Autorité de protection de l'enfant et de l'adulte du Jura bernois (ci-après: l'autorité de protection) du 20 mai 2021 concernant une curatelle de représentation en sa faveur.
B.
B.a. Par ordonnance du 23 juin 2021, le Tribunal de la protection de l'enfant et de l'adulte de la Cour suprême du canton de Berne (ci-après: le Tribunal de protection) a imparti un premier délai au recourant pour s'acquitter d'une avance de frais de 1'200 fr. Le 30 juin 2021, le recourant a fait parvenir un complément à son recours, dans lequel il demandait notamment d'être dispensé de verser l'avance de frais requise.
B.b. Par ordonnance du 6 juillet 2021, le Tribunal de protection l'a informé que les conditions de dispense de l'avance de frais n'étaient pas données en l'espèce. Il l'a rendu attentif au fait que s'il souhaitait être dispensé des frais, il lui appartenait de déposer une requête d'assistance judiciaire pour la procédure de recours dans les formes légales.
Le 20 juillet 2021, le recourant a fait parvenir un complément au recours accompagné d'une requête d'assistance judiciaire.
B.c. Par ordonnance du 27 juillet 2021, le Tribunal de protection a rejeté la requête d'assistance judiciaire du recourant et lui a accordé un dernier délai de 5 jours pour procéder à l'avance de frais. Statuant le 6 août 2021, il a refusé d'entrer en matière sur le recours, l'avance de frais n'ayant pas été versée dans l'ultime délai imparti.
C.
Par acte du 13 septembre 2021, A._ exerce un recours au Tribunal fédéral, dans lequel il conclut à l'annulation de l'ordonnance du 27 juillet 2021 et de la décision du 6 août 2021 et à l'octroi de l'assistance judiciaire pour la procédure de recours cantonale. À titre préalable, il demande le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
1.1. Bien que le recours ait été rédigé en allemand, la présente décision sera rédigée dans la langue de la décision attaquée (<ref-law>), en l'occurrence en français.
1.2. Le recours est dirigé contre une décision de non-entrée en matière et une ordonnance de refus d'assistance judiciaire, à savoir contre une décision finale (<ref-law>) et une décision préjudicielle qui influence directement la première (<ref-law>; arrêts 4A_26/2021 du 12 février 2021 consid. 3.2; 5A_654/2019 du 14 mai 2020 consid. 1.2.2), dans une affaire relevant de la protection de l'adulte, soit une cause de nature non pécuniaire sujette au recours en matière civile (art. 72 al. 2 let. b ch. 6 LTF). Le recours a par ailleurs été interjeté en temps utile (art. 46 al. 1 let. b et 100 al. 1 LTF) contre une décision rendue par un tribunal supérieur de dernière instance cantonale (art. 75 al. 1 et 2 LTF). Le recourant a en outre succombé dans ses conclusions devant l'autorité précédente (<ref-law>).
Le recours en matière civile est dès lors en principe recevable au regard des dispositions qui précédent, le défaut d'intitulé du recours n'entraînant aucun préjudice au recourant (cf. <ref-ruling> consid. 1.1; <ref-ruling> consid. 3.1; <ref-ruling> consid. 1.2).
1.3. Les courriers des 21 septembre 2021, 5 octobre 2021 et 24 janvier 2022 du recourant ont été déposés après le délai de recours. Tardifs, ces courriers, de même que les annexes qui les accompagnent, sont irrecevables.
2.
2.1. Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 2.1; <ref-ruling> consid. 3.2.3). Cela étant, eu égard à l'exigence de motivation contenue à l'<ref-law>, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4). Le Tribunal fédéral ne connaît en outre de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), doit satisfaire au principe d'allégation susmentionné (<ref-law>; cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.1).
En l'espèce, la partie intitulée " Sachverhalt ", développée aux pages 4 à 6 du recours, sera ignorée en tant que les faits qui y sont exposés ne sont pas expressément visés par les griefs examinés ci-après, qu'ils s'écartent de ceux contenus dans l'arrêt attaqué sans que la recourante démontre à satisfaction leur établissement arbitraire ou que leur correction influerait sur le sort de la cause.
3.
3.1. Il ressort de l'ordonnance du 27 juillet 2021 sur le refus de l'assistance judiciaire que le recours déposé le 18 juin 2021 devant la cour cantonale ne comportait aucune conclusion. Le recourant semblait alléguer qu'il faudrait renoncer à une curatelle, mais cette question ne faisait pas l'objet de la décision attaquée du 20 mai 2021 et avait déjà fait l'objet d'une autre procédure complète. Pour le surplus, le recourant ne faisait pas valoir que l'autorité de protection avait constaté les faits de manière inexacte. Il n'expliquait pas non plus en quoi la décision de l'autorité était contraire au droit ou inopportune. À la lecture du courrier du recourant, on peinait en effet à comprendre en quoi celui-ci s'opposait en tout ou partie à la décision rendue, tant ses propos étaient confus et largement incompréhensibles. Ainsi, même en tenant compte du fait qu'il n'était pas représenté par un avocat, il était douteux que le recours était recevable. Les chances de succès de gagner le procès étaient ainsi inférieures au risque de le perdre, voire inexistantes, et ne pouvaient guère être qualifiées de sérieuses. La procédure initiée par le recourant devait dès lors être tenue pour dépourvue de chances de succès sur la base du recours. Ses compléments du 30 juin 2021, du 2 juillet 2021 et du 20 juillet 2021 avaient en outre été déposés tardivement puisque la décision de première instance lui avait été notifiée le 27 mai 2021 et que le délai de recours était ainsi arrivé à échéance le 28 juin 2021. Ils devraient être déclarés irrecevables, de sorte qu'ils n'étaient pas à même d'influencer positivement les chances de succès. La requête devait également être rejetée en raison du défaut de collaboration du recourant. Celui-ci avait été rendu expressément attentif que, s'il souhaitait déposer une requête d'assistance judiciaire, il lui incombait d'établir sa situation financière actuelle et de produire tous les éléments à cet effet. Or, il n'avait manifestement pas satisfait à cette obligation, les pièces jointes à sa requête ne permettant pas d'établir sa situation financière.
3.2. Le recourant rappelle en préambule la théorie en lien avec l'art. 29 al. 3 Cst. Il expose ensuite que, dans son courrier du 6 juillet 2021, la cour cantonale s'était référée à la mauvaise disposition de la loi cantonale pour justifier qu'une remise de frais ne pouvait pas être accordée. Il indique avoir répondu à l'invitation sur la possibilité de déposer une requête d'assistance judiciaire, dans laquelle la cour cantonale avait indiqué qu'il devait motiver les chances de succès de son recours et présenter sa situation financière. Quand bien même il n'avait pas fourni de justification sur les perspectives du recours et remis tous les documents pertinents, il avait déposé le formulaire de demande d'assistance judiciaire et joint sa décision de taxation 2019. Il avait également envoyé un document daté du 19 juillet 2021 et intitulé " Contéstation du mise sous curatelle " [sic]. En application du principe de la confiance (<ref-law>) et des règles de la bonne foi (art. 9 Cst.), il fallait considérer ce document, au vu de son intitulé et de son contenu, comme étant sa motivation des chances de succès de son recours. Toute autre appréciation allait à l'encontre de l'<ref-law>. Le fait qu'il mélangeait certains éléments avec le contenu d'une décision antérieure ne devait pas lui être préjudiciable puisqu'il n'était pas représenté par un avocat. L'argument de la cour cantonale selon lequel ses explications étaient confuses et incompréhensibles n'était par ailleurs pas motivé, de sorte que la décision violait son droit d'être entendu (art. 29 al. 2 Cst.). Il avait par ailleurs indiqué avoir le droit de proposer une personne de son choix et avait signé une procuration en faveur de la personne habilitée à le représenter, de sorte que la cour cantonale ne pouvait pas lui reprocher de ne pas avoir expliqué en quoi la décision querellée était contraire au droit. Dès lors que la procédure devant la cour cantonale était entièrement régie par la maxime inquisitoire, il fallait considérer que ces explications, fournies par une personne non assistée, étaient claires et compréhensibles, quand bien même celle-ci n'exposait pas en quoi la décision querellée était inopportune. Les documents produits permettaient de comprendre qu'il ne s'opposait pas à l'institution de la curatelle, mais à la personne du curateur. Il n'était pas non plus problématique qu'il ne formule aucune demande, ni ne prenne de conclusions en ce sens. Dans ces circonstances, il était arbitraire de retenir qu'il n'avait pas rempli son devoir de collaboration. Il était également arbitraire de considérer que son complément au recours du 30 juin 2021 était tardif puisqu'il s'agissait d'un complément et qu'il n'avait été déposé que deux jours après l'expiration du délai de recours. Sa décision de taxation 2019 permettait en outre de déterminer ses revenus imposables et l'absence de production. Il n'était pas en mesure de produire sa dernière déclaration fiscale car elle était chez son curateur et n'en avait pas reçu d'exemplaire. Il relève enfin que la cour cantonale aurait dû lui impartir un deuxième délai pour produire les documents utiles pour statuer sur sa requête d'assistance judiciaire, vu qu'il n'était pas assisté d'un avocat.
3.3.
3.3.1. Pour autant qu'il veuille soulever un grief de violation de l'art. 29 al. 3 Cst., ce grief doit être immédiatement écarté, dès lors que le recourant se contente d'énoncer les principes jurisprudentiels développés en lien avec cette disposition sans indiquer en quoi l'ordonnance querellée serait contraire aux principes qu'il expose. Il n'y a pas non plus lieu de se pencher sur ses allégations en lien avec le courrier du 6 juillet 2021 de la cour cantonale, le recourant n'attachant aucune conséquence juridique à la prétendue erreur de disposition ou à la formulation de ce courrier.
Son grief tiré d'un défaut de motivation (art. 29 al. 2 Cst.) apparaît manifestement mal fondé puisque l'ordonnance attaquée énonce les raisons pour lesquelles la cour cantonale a qualifié les explications du recourant de confuses et d'incompréhensibles. Le recourant reconnaît d'ailleurs que son recours ne contenait pas de conclusions, ni n'exposait en quoi la décision querellée était inopportune et qu'il mélangeait certains éléments avec le contenu d'une autre décision. Il s'emploie du reste à démontrer que la cour cantonale pouvait comprendre ce qu'il demandait en se référant aux pièces produites en annexe à son courrier ou à ses compléments au recours. Il s'ensuit que le recourant, qui a été en mesure d'attaquer l'ordonnance entreprise en toute connaissance de cause, confond le défaut de motivation, qui relève du droit d'être entendu, avec le désaccord que la motivation présentée a suscité chez lui (<ref-ruling> consid. 6.1 et les références). Autant que recevable, son grief doit ainsi être rejeté.
3.3.2. En tant que le recourant se réfère aux pièces qu'il aurait produites devant la cour cantonale, il fonde sa critique sur des faits irrecevables, dès lors que le contenu de ces pièces ne ressort pas de l'ordonnance attaquée et qu'il ne soulève aucun grief d'arbitraire en lien avec ces constatations (cf. supra consid. 2.2). Pour le recours comme pour l'appel, la motivation est une condition de recevabilité prévue par la loi (<ref-law>; arrêts 5A_736/2016 du 30 mars 2017 consid. 4.2; 5A_82/2013 du 18 mars 2013 consid. 3.2), qui doit être examinée d'office (<ref-law>). Elle doit être présentée avant l'échéance du délai de recours (arrêts 5A_736/2016 précité consid. 4.2; 5A_979/2014 du 12 février 2015 consid. 2.4), qui en tant que délai légal ne peut être prolongé (<ref-law>). S'agissant d'une exigence légale, un recourant, même sans formation juridique, n'a pas, en application de l'<ref-law>, à se voir accorder un délai supplémentaire pour compléter ou améliorer une motivation insuffisante (arrêt 4A_55/2021 du 2 mars 2021 consid. 4.1.2 et les arrêts cités). Il s'ensuit que les propos du recourant en lien avec le fait que ses compléments au recours n'étaient pas tardifs sont manifestement dépourvus de tout fondement juridique. Au surplus, le recourant se limite à discuter de la constatation de la cour cantonale selon laquelle son recours était confus et peu compréhensible, en exposant son propre point de vue et sans démontrer, conformément aux exigences de motivation susrappelées (cf. supra consid. 2.2), le caractère prétendument insoutenable de cette constatation. Il résulte ainsi de ce qui précède que ses critiques en lien avec l'analyse des chances de succès de son recours sont, pour autant que recevables, manifestement mal fondées.
Ces considérations scellent le sort du recours sans qu'il y ait lieu d'analyser les critiques du recourant en lien avec l'établissement de sa situation financière, la condition relative à l'insuffisance de ressources étant cumulative à celle des chances de succès.
4.
En définitive, le recours doit être rejeté, dans la faible mesure de sa recevabilité. Les conclusions du recourant étant d'emblée vouées à l'échec, la requête d'assistance judiciaire ne saurait être agréée (<ref-law>) et l'intéressé supportera les frais de la procédure (<ref-law>). Il n'y a pas lieu d'allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au recourant, à l'Autorité de protection de l'enfant et de l'adulte du Jura bernois et au Tribunal de la protection de l'enfant et de l'adulte de la Cour suprême du canton de Berne.
Lausanne, le 9 février 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
Le Greffier : Piccinin