Faits :
A.
Le 3 août 2020, Me Mathias Bauer a transmis au Ministère public une plainte de son mandant, A._, datée du 10 juillet 2020 et a sollicité l'octroi de l'assistance judiciaire. La plainte pénale était dirigée, d'une part, contre le codétenu B._ pour injures, lésions corporelles simples, subsidiairement voies de fait et, d'autre part, contre inconnu ou éventuellement le directeur-adjoint de l'Etablissement d'exécution des peines de Bellevue (ci-après: EEP Bellevue) pour abus d'autorité. Il reprochait à B._ de l'avoir, le 4 juillet 2020 vers 19h45, traité de " pédophile " puis de l'avoir violemment écrasé contre le mur d'une cellule et de lui avoir asséné des coups de poing au niveau des côtes. S'agissant des faits reprochés à un inconnu ou éventuellement au directeur-adjoint de l'EEP Bellevue, le plaignant exposait que, suite à son altercation avec B._, il avait été consigné, à titre de sanction disciplinaire, dans sa cellule pendant cinq jours sans sursis et qu'il avait sollicité la possibilité de contacter son avocat dès sa prise en charge par l'ambulance, ce qui lui avait été refusé sans aucune justification jusqu'au 7 juillet 2020. Il ignorait s'il s'agissait d'une décision du directeur-adjoint de l'établissement, qui avait également prononcé la sanction disciplinaire, ou si des gardiens lui avaient spontanément refusé toute possibilité de téléphoner.
Le 5 août 2020, le Ministère public a ordonné l'ouverture de deux instructions pénales, la première à l'encontre du codétenu B._ et la seconde contre inconnu. Le même jour, le Ministère public a rendu une décision commune aux deux procédures précitées, dans laquelle il a rejeté la demande d'assistance judiciaire de A._.
B.
Le recours formé par A._ contre cette décision a été rejeté par arrêt du 31 août 2020 de l'Autorité de recours en matière pénale du Tribunal cantonal neuchâtelois (ARMP). Celle-ci a considéré, s'agissant de la procédure pénale dirigée à l'encontre de B._, que la cause ne présentait aucune complexité en fait ou en droit et que les conséquences de l'issue de la procédure pour le recourant ne justifiaient pas non plus l'assistance d'un mandataire professionnel. Quant à la procédure ouverte contre inconnu, l'instance précédente a jugé que les conclusions civiles en tort moral de A._ étaient immanquablement vouées à l'échec, dans la mesure où elles relevaient d'une prétention de droit public à faire valoir contre l'Etat et que de telles prétentions ne pouvaient pas être invoquées par voie d'adhésion dans le procès pénal.
C.
Par acte du 5 octobre 2020, A._ forme un recours en matière pénale contre cet arrêt, concluant en substance à l'octroi de l'assistance judiciaire et à la désignation de Me Mathias Bauer comme défenseur d'office dans le cadre " de la procédure pénale qui concerne la plainte pour abus d'autorité [et] de la procédure de recours auprès de l'ARMP ". Il sollicite en outre le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Invité à se déterminer, le Tribunal cantonal renonce à présenter des observations et se réfère à l'arrêt attaqué. Pour sa part, le Ministère public conclut au rejet du recours, aux termes de ses observations. A._ dépose d'ultimes déterminations.

Considérant en droit :
1.
Le recours en matière pénale est ouvert contre une décision incidente par laquelle l'assistance judiciaire est refusée à une partie à la procédure pénale (art. 78 al. 1 LTF). Un tel refus est susceptible de causer un préjudice irréparable à son destinataire, au sens de l'art. 93 al. 1 let. a LTF, de sorte qu'il peut faire l'objet d'un recours immédiat au Tribunal fédéral (<ref-ruling> consid. 2.2 p. 205; <ref-ruling> consid. 4 p. 338; arrêt 1B_357/2017 du 15 novembre 2017 consid. 1).
Indépendamment des conditions posées par l'art. 81 al. 1 ch. 5 ou 6 LTF, la partie plaignante est habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel (<ref-ruling> consid. 1.1 p. 5). Il en va notamment ainsi du droit à l'assistance judiciaire (arrêts 1B_357/2017 précité consid. 1; 1B_245/2017 du 23 août 2017 consid. 1 et les arrêts cités).
Le recours a été déposé en temps utile (art. 100 al. 1 LTF) contre une décision rendue par une autorité cantonale de dernière instance (art. 80 LTF). En outre, les conclusions qui y sont prises sont recevables (art. 107 al. 2 LTF). Partant, il y a lieu d'entrer en matière.
2.
En vertu de l'art. 42 al. 1 LTF, les mémoires de recours doivent être motivés. Selon l'art. 42 al. 2 LTF, les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit. Pour satisfaire à cette exigence, il appartient au recourant de discuter au moins brièvement les considérants de la décision litigieuse et d'expliquer en quoi ceux-ci seraient contraires au droit (<ref-ruling> consid. 2.4 p. 368). Les griefs de violation des droits fondamentaux sont en outre soumis à des exigences de motivation accrues (art. 106 al. 2 LTF), le recourant devant alors citer les droits constitutionnels ou conventionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ils auraient été violés (cf. <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368).
3.
Dans la première partie de son écriture, le recourant présente son propre exposé des faits. Une telle argumentation, dans la mesure où elle s'écarte des faits établis dans l'arrêt attaqué ou les complète, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable (cf. <ref-ruling> consid. 2 p. 116 s.; arrêt 1C_518/2019 du 8 juillet 2020 consid. 2).
4.
Dans son mémoire, le recourant ne conteste plus le refus de l'assistance judiciaire pour la procédure pénale dirigée à l'encontre du codétenu. Il critique la décision entreprise uniquement en tant qu'elle confirme le refus de lui octroyer l'assistance judiciaire pour la procédure pénale ouverte pour abus d'autorité. Il se plaint dans ce contexte tout d'abord d'une violation de l'art. 6 par. 1 CEDH.
L'art. 6 par. 1 CEDH prescrit que " toute personne a droit à ce que sa cause soit entendue équitablement, publiquement et dans un délai raisonnable, par un tribunal indépendant et impartial, établi par la loi, qui décidera, soit des contestations sur ses droits et obligations de caractère civil, soit du bien-fondé de toute accusation en matière pénale dirigée contre elle ".
Le recourant n'est pas légitimé à se prévaloir de cette disposition comme partie plaignante. En effet, celle-ci vise, dans le cadre d'une procédure pénale, la personne accusée, et non celle qui accuse autrui (cf. <ref-ruling> consid. 4.3.5 p. 306; arrêts 6B_131/2015 du 15 janvier 2016 consid. 2.2.1; 6B_479/2013 du 30 janvier 2014 consid. 3.11; 1B_459/2013 du 7 janvier 2014 consid. 3; cf. également HARARI/CORMINBOEUF HARARI, in Commentaire Romand CPP, 2 e éd. 2019, n. 1 ad art. 136 CPP; MARK E. VILLIGER, Handbuch der Europäischen Menschenrechtskonvention [EMRK], 3e éd. 2020, n. 472 p. 266). Le recourant fait, en substance, encore valoir que l'instruction pénale par le Ministère public présenterait un caractère civil au sens de l'art. 6 CEDH parce que sans jugement pénal constatant l'abus d'autorité, son action en responsabilité s'avérerait vouée à l'échec. Si des prétentions en dédommagement contre l'Etat supposent la constatation d'un acte illicite, cela ne veut toutefois pas dire qu'il doit y avoir un acte pénalement répréhensible ou qu'une sanction pénale doit être prononcée contre une personne. Pour le reste, il est renvoyé à ce qui est exposé au considérant suivant au sujet de l'art. 29 al. 3 Cst. qui vaut, mutatis mutandis, également par rapport à l'art. 6 CEDH.
5.
5.1. A teneur de l'art. 29 al. 3 Cst., toute personne qui ne dispose pas de ressources suffisantes a droit, à moins que sa cause paraisse dépourvue de toute chance de succès, à l'assistance gratuite d'un défenseur, dans la mesure où la sauvegarde de ses droits le requiert.
L'art. 136 CPP concrétise les conditions d'octroi de l'assistance judiciaire pour la partie plaignante dans un procès pénal. Selon l'art. 136 al. 1 CPP, la direction de la procédure accorde entièrement ou partiellement l'assistance judiciaire à la partie plaignante indigente pour lui permettre de faire valoir ses prétentions civiles si l'action civile ne paraît pas vouée à l'échec. L'assistance judiciaire comprend l'exonération d'avances de frais et de sûretés (art. 136 al. 2 let. a CPP), l'exonération des frais de procédure (art. 136 al. 2 let. b CPP) et/ou la désignation d'un conseil juridique gratuit, lorsque la défense des intérêts de la partie plaignante l'exige (art. 136 al. 2 let. c CPP). Cette norme reprend ainsi les trois conditions cumulatives découlant de l'art. 29 al. 3 Cst., à savoir l'indigence, les chances de succès et le besoin d'être assisté.
Au regard de la teneur de l'art. 136 CPP, le législateur fédéral a ainsi sciemment limité l'octroi de l'assistance judiciaire aux cas où le plaignant peut faire valoir des prétentions civiles (cf. Message du Conseil fédéral du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 p. 1160 ch. 2.3.4.3; arrêts 1B_561/2019 du 12 février 2020 consid. 2.1; 6B_122/2013 du 11 juillet 2013 consid. 4.1).
5.2. En l'espèce, l'instance précédente a jugé que le recourant ne pouvait se prévaloir du droit à l'assistance judiciaire ni sur la base de l'art. 136 al. 1 CPP, ni sur celle de l'art. 29 al. 3 Cst. Les conclusions civiles en tort moral du recourant dans le cadre de la procédure pénale pour abus d'autorité étaient immanquablement vouées à l'échec. En effet, le recourant se plaignait d'abus de pouvoir à l'encontre du directeur-adjoint ou d'agents de détention de l'EEP Bellevue, lesquels étaient des agents de l'Etat au sens de la loi cantonale du 26 juin 1989 sur la responsabilité des collectivités publiques et de leurs agents (LResp; RS/NE 150.10). Or, la LResp instituait une responsabilité des collectivités publiques pour les dommages causés sans droit à un tiers par ses agents dans l'exercice de leurs fonctions, qui exclut toute action directe du lésé contre l'agent de l'Etat (art. 1, 5 et 9 LResp). Le canton de Neuchâtel ayant ainsi fait usage de la faculté réservée à l'art. 61 al. 1 CO, le recourant ne disposait, le cas échéant, que d'une prétention de droit public à faire valoir non pas contre l'auteur présumé contre lequel il a dirigé sa plainte pénale mais contre l'Etat et une telle prétention ne pouvait être invoquée dans le procès pénal par voie d'adhésion. Selon l'instance précédente, le recourant n'avait donc pas de prétentions civiles à raison des actes incriminés et ses conclusions civiles étaient sous cet angle vouées à l'échec.
5.3. Le recourant, partie plaignante, ne conteste pas qu'il ne peut pas se prévaloir du droit à l'assistance judiciaire sur la base de l'art. 136 al. 1 CPP, faute de pouvoir invoquer dans la procédure pénale des conclusions civiles directement contre les agents de l'Etat mis en cause (cf. consid. 5.2 ci-dessus; cf. également arrêt 1B_561/2019 du 12 février 2020 consid. 2.2 et les réf. cit.). Il fait toutefois valoir un droit à l'assistance judiciaire sur la base de l'art. 29 al. 3 Cst., en se prévalant de l'arrêt 1B_355/2012 du Tribunal fédéral rendu le 12 octobre 2012 (publié en partie in Pra 2013 n° 1 et Plädoyer 2/2013 64).
Certes, la jurisprudence a déjà admis, dans une telle hypothèse, un droit à l'assistance judiciaire pour le plaignant fondé directement sur l'art. 29 al. 3 Cst. (cf. arrêt 1B_355/2012 précité consid. 5.2). Cependant, la jurisprudence admet de faire abstraction de la condition des conclusions civiles si les actes dénoncés sont susceptibles de tomber sous le coup des dispositions prohibant les actes de torture et autres peines ou traitements cruels ou dégradants (cf. art. 3 CEDH, 10 al. 3 Cst., 7 Pacte ONU II et Convention des Nations Unies contre la torture et autres peines ou traitements cruels, inhumains ou dégradants conclue à New York le 10 décembre 1984 [RS 0.105]; cf. <ref-ruling> consid. 3.1.1 p. 88 s.; cf. arrêts 1B_561/2019 du 12 février 2020 consid. 2.2; 1B_245/2017 du 23 août 2017 consid. 2.1; 1B_32/2014 du 24 février 2014 consid. 3.1; 1B_729/2012 du 28 mai 2013 consid. 2.1 et les arrêts cités).
Un mauvais traitement au sens des dispositions précitées doit en principe être intentionnel et atteindre un minimum de gravité. L'appréciation de ce minimum dépend de l'ensemble des données de la cause, notamment de la durée du traitement et de ses effets physiques ou mentaux, ainsi que, parfois, du sexe, de l'âge et de l'état de santé de la victime. Un traitement atteint le seuil requis et doit être qualifié de dégradant s'il est de nature à créer des sentiments de peur, d'angoisse et d'infériorité propres à humilier ou à avilir la victime, de façon à briser sa résistance physique ou morale ou à la conduire à agir contre sa volonté ou sa conscience. Il y a également traitement dégradant, au sens large, si l'humiliation ou l'avilissement a pour but, non d'amener la victime à agir d'une certaine manière, mais de la punir (cf. arrêt 6B_307/2019 du 13 novembre 2019 consid. 4.1 non publié aux <ref-ruling>; 6B_1135/2018 du 21 février 2019 consid. 1.2.1; 1B_771/2012 du 20 août 2013 consid. 1.2.2 publié in PJA 2013 1688; 1B_729/2012 du 28 mai 2013 consid. 2.1). La jurisprudence a ainsi retenu que tel était le cas lorsque le plaignant prétendait avoir subi des lésions corporelles à la suite d'une intervention des autorités (arrêts 1B_355/2012 du 12 octobre 2012; 1B_10/2012 du 29 mars 2012; 6B_274/2009 du 16 février 2010 consid. 3.1.2.2) ou encore lorsqu'un mineur était embarqué dans un fourgon de police et emmené dans un endroit isolé hors de la ville où il était alors abandonné (arrêt 6B_364/2011 du 24 octobre 2011). Elle a en revanche considéré que l'atteinte n'était pas d'un degré de gravité suffisant lorsque le plaignant alléguait une violation de domicile du fait que des agents de police s'étaient introduits dans son appartement en son absence (arrêt 1B_559/2012 du 4 décembre 2012) ni lorsqu'il alléguait avoir été saisi au collet quelques instants par la police (arrêt 1B_70/2011 du 11 mai 2011).
5.4. En l'espèce, le recourant se plaint d'avoir été empêché de téléphoner à son avocat durant quelques jours et donc de faire valoir ses droits dans le cadre de la procédure disciplinaire ayant conduit à sa consignation dans sa cellule durant 5 jours, suite à l'altercation ayant eu lieu le samedi soir 4 juillet 2020 vers 20h00. Le recourant affirme qu'on ne lui aurait permis de contacter son avocat que le 7 juillet suivant. Le recourant ne tente pas de démontrer, dans son écriture, en quoi ces allégués seraient d'un degré de gravité suffisant pour tomber sous le coup des dispositions prohibant les actes de torture et autres peines ou traitements cruels ou dégradants. De ce point de vue, le recours apparaît irrecevable. Il n'est à cet égard manifestement pas suffisant d'affirmer que l'infraction d'abus d'autorité est grave et que les enquêtes contre les agents de détention, au même titre que celles contre les policiers, sont parmi les plus difficiles à mener.
Le recourant invoque en vain l'arrêt 1B_355/2012; il méconnaît en effet que, dans cette affaire, la partie plaignante avait, contrairement au cas d'espèce, allégué de manière défendable avoir été victime d'actes de violence prohibés par les art. 10 al. 3 Cst. et 3 CEDH. Pour le surplus, dans dite cause, le Tribunal fédéral avait admis la nécessité d'accorder un conseil d'office parce que le ministère public avait rendu une ordonnance de classement, ce qui, en l'état, n'est pas le cas dans la présente affaire (cf. arrêt 1B_355/2012 du consid. 1.2.2 et 5; cf. également arrêt 1B_533/2019 du 4 mars 2020 consid. 3.6).
Quoi qu'il en soit, l'instance précédente peut être suivie lorsqu'elle considère que ne constitue pas un traitement inhumain ou dégradant au sens de la jurisprudence précitée le fait que le recourant aurait été empêché de téléphoner à son avocat avant le 7 juillet 2020 et qu'il n'aurait donc pas pu, selon lui, faire valoir ses droits dans le cadre de la procédure disciplinaire. L'instance précédente relève en particulier que le recourant n'a pas indiqué en quoi il aurait été empêché de faire valoir lui-même ses droits dans la procédure disciplinaire en question. Le recourant ne se prononce pas à ce sujet.
Il n'est dès lors pas nécessaire d'examiner les griefs du recourant ayant trait à l'indigence, aux chances de succès et au besoin d'être assisté.
5.5. Au regard de ces considérations, il apparaît que l'instance précédente n'a pas violé le droit fédéral en confirmant le rejet de la demande d'assistance judiciaire déposée par le recourant pour la procédure pénale ouverte pour abus d'autorité.
Dans ses conclusions formulées à l'attention du Tribunal fédéral, le recourant requiert encore que lui soit accordée l'assistance judiciaire pour la procédure de recours auprès de l'instance précédente, requête que celle-ci avait rejetée. Le recourant ne motive toutefois pas en quoi ce refus de l'instance précédente violerait un droit selon l'art. 95 LTF, de sorte que cette conclusion est irrecevable.
6.
Le recours est dès lors rejeté, dans la mesure où il est recevable.
Comme les conclusions étaient vouées à l'échec, la demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Toutefois, pour tenir compte de la situation financière du recourant, il peut être renoncé à la perception de frais judiciaires (art. 66 al. 1 in fine LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public de la République et canton de Neuchâtel et au Tribunal cantonal de la République et canton de Neuchâtel, Autorité de recours en matière pénale.
Lausanne, le 11 janvier 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
La Greffière : Arn