Faits :
A.
Le Ministère public de la République et canton de Neuchâtel a ouvert une instruction pénale contre A._ pour tentative de lésions corporelles aggravées, dommages à la propriété, injures, menaces, contrainte et violation de domicile pour des faits qui se seraient déroulés dans la nuit du 29 au 30 décembre 2020.
Le 2 janvier 2021, saisi d'une demande déposée le 31 décembre 2020 par le Ministère public en ce sens, le Tribunal des mesures de contrainte du Littoral et du Val-de-Travers (Tmc) a ordonné la détention provisoire de A._ pour une durée de trois mois, soit jusqu'au 2 avril 2021.
B.
Statuant par arrêt du 19 janvier 2021 sur le recours formé par A._, l'Autorité de recours en matière pénale du Tribunal cantonal de la République et canton de Neuchâtel a confirmé cette décision (ch. 1), dit que le recourant n'avait pas droit à l'assistance judiciaire pour la procédure de recours (ch. 2) et mis les frais de cette procédure de recours, arrêtés à 300 francs, à la charge du recourant (ch. 3).
C.
Agissant par la voie du recours en matière pénale par acte du 22 février 2021, A._ demande au Tribunal fédéral d'annuler le chiffre 2 du dispositif de l'arrêt cantonal, de lui octroyer l'assistance judiciaire pour la procédure de recours cantonale avec son représentant comme mandataire d'office et de renvoyer la cause à l'autorité intimée pour fixation de l'indemnité d'avocat d'office due à son mandataire. Subsidiairement, il conclut à l'annulation du chiffre 2 du dispositif de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision.
Le recourant demande en outre à être mis au bénéfice de l'assistance judiciaire pour la procédure devant le Tribunal fédéral.
Le Ministère public et le Tribunal cantonal renoncent à se déterminer sur le recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (arrêt 1C_95/2017 du 24 mai 2017 consid. 1 non publié in <ref-ruling>; <ref-ruling> consid. 1 p. 116).
2. La décision attaquée a été rendue par une autorité statuant en dernière instance cantonale (<ref-law>) dans une cause de droit pénal et le recours en matière pénale est donc ouvert (<ref-law>).
3.
3.1. Le recours au Tribunal fédéral est recevable contre les décisions qui mettent fin à la procédure (<ref-law>), qui statuent sur un objet dont le sort est indépendant de celui qui reste en cause (<ref-law>) ou qui mettent fin à la procédure à l'égard d'une partie des consorts (<ref-law>). Il l'est également contre certaines décisions préjudicielles et incidentes. Il en va ainsi de celles qui concernent la compétence et les demandes de récusation (<ref-law>). Quant aux autres décisions préjudicielles et incidentes notifiées séparément, elles peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>).
Selon la jurisprudence, le préjudice irréparable au sens de l'<ref-law> doit être de nature juridique. Doit être reconnu comme tel le préjudice qui ne peut plus être réparé par une décision ultérieure favorable au recourant (<ref-ruling> consid. 1.3.1). Un dommage purement factuel, tel que la prolongation ou l'augmentation du coût de la procédure, ne suffit pas. L'exigence d'un préjudice irréparable vise à éviter, dans la mesure du possible, que le Tribunal fédéral n'ait à connaître d'une affaire plus d'une fois (<ref-ruling> consid. 1.2).
Il est en principe admis que le refus de l'assistance judiciaire dans une cause pénale - soit le refus de désigner un avocat d'office au prévenu - peut causer un préjudice irréparable; en effet, si ce refus est annulé par l'autorité de recours à la fin de la procédure, on conçoit mal qu'après la reprise de l'instruction le prévenu puisse se trouver dans la même situation que s'il avait été d'emblée assisté, par exemple pour l'audition de témoins ou l'administration d'autres preuves (<ref-ruling> consid. 2.2; <ref-ruling> consid. 4; <ref-ruling> consid. 1.1).
Lorsque seul est litigieux l'octroi de l'assistance judiciaire pour une procédure de recours dans laquelle le défenseur d'office de la procédure de fond est déjà intervenu, soit, en d'autres termes, pour la question de prise en charge des frais d'avocat et de justice, le Tribunal fédéral considère qu'il n'y a pas de préjudice irréparable qui justifie qu'il soit statué immédiatement en dérogation à la règle de l'<ref-law> (arrêts 1B_18/2021 du 23 février 2021 consid. 1.3; 1B_33/2019 du 18 avril 2019 consid. 1.2; 1B_246/2016 du 2 août 2016 consid. 1). Cette solution est celle de la jurisprudence sur les frais et dépens de décisions incidentes dans d'autres domaines comparables (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.2.1; cf. également arrêt 1B_491/2019 du 5 février 2020).
3.2. En l'espèce, le recourant fait uniquement valoir à titre général que le refus de désigner un avocat d'office à un prévenu dans une cause pénale, "respectivement de lui accorder l'assistance judiciaire", peut faire l'objet d'un recours en matière pénale immédiat auprès du Tribunal fédéral. Ce faisant, il se réfère à une cause (<ref-ruling> consid. 2.2) concernant le refus de la nomination d'une défense d'office avant l'ouverture des débats. L'enjeu déterminant résidait alors dans la poursuite des débats avec ou sans défenseur. Or il s'agit précisément d'un cas dans lequel un éventuel gain de cause dans un recours formé en fin de procédure ne permettrait pas de replacer le prévenu dans la même situation que s'il avait été d'emblée assisté.
Dans le cas présent, l'assistance judiciaire n'a été refusée que pour la procédure de recours contre la mise en détention provisoire. Le recourant a déjà procédé avec l'aide de son défenseur. Conformément à la jurisprudence exposée ci-dessus, la mise à sa charge des frais de justice et de représentation ne saurait ainsi à elle seule constituer un préjudice irréparable au sens de l'<ref-law>. Le recourant ne démontre pas le contraire, ni même ne l'allègue.
4.
Il s'ensuit que le recours est irrecevable.
Le recourant a demandé à être mis au bénéfice de l'assistance judiciaire pour la procédure devant le Tribunal fédéal. Vu la pratique constante selon la jurisprudence citée ci-dessus, les conclusions paraissaient d'emblée vouées à l'échec, de sorte que cette demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 et 2 LTF). Vu l'indigence du recourant, le présent arrêt sera rendu sans frais judiciaires (art. 66 al. 1, 2ème phrase, LTF). Il n'y a pas lieu d'allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires ni alloué de dépens.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public de la République et canton de Neuchâtel et au Tribunal cantonal de la République et canton de Neuchâtel, Autorité de recours en matière pénale.
Lausanne, le 7 avril 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
La Greffière : Sidi-Ali