Faits :
A.
Par ordonnance pénale du 7 mai 2021, le Ministère public de l'arrondissement de Lausanne a condamné A._, ressortissant du Nigéria né en 1985, pour rupture de ban (<ref-law>), à une peine privative de liberté de six mois, sous déduction d'un jour de détention avant jugement. Il est reproché au prénommé d'être entré et d'avoir voyagé sur le territoire suisse en dépit d'une décision d'expulsion de cinq ans prononcée par jugement du 10 avril 2019 de la Chambre pénale d'appel et de révision de Genève.
B.
Le 12 mai 2021, A._ a formé opposition contre cette ordonnance et a requis l'octroi de l'assistance judiciaire ainsi que la nomination de son mandataire en tant qu'avocat d'office. Cette requête a été rejetée le 28 mai 2021 par le Ministère public au motif que la cause ne présentait pas de difficultés particulières juridiques ou de fait. Par avis du même jour, le Ministère public a informé A._, par son défenseur, du fait qu'il avait décidé de maintenir son ordonnance pénale et avait transmis le dossier de la cause au Tribunal de police de l'arrondissement de Lausanne en vue des débats, l'ordonnance pénale tenant lieu d'acte d'accusation.
C.
Par arrêt du 15 septembre 2021, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours intenté par A._ contre la décision de refus de lui octroyer l'assistance judiciaire. En substance, elle a considéré que les conditions d'une défense d'office (<ref-law>) n'étaient pas réalisées, puisque la cause ne présentait pas de difficulté en fait et en droit.
D.
Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler cet arrêt du 15 septembre 2021, de lui accorder l'assistance judiciaire gratuite et de nommer Me Magali Buser en qualité d'avocate d'office pour la procédure pénale avec effet au 12 mai 2021. A titre subsidiaire, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. En outre, il sollicite également le bénéfice de l'assistance judiciaire pour la présente procédure.
Le Tribunal cantonal renonce à déposer des observations et se réfère aux considérants de son arrêt. Le Ministère public ne s'est pas déterminé.

Considérant en droit :
1.
Conformément à l'<ref-law>, une décision relative à la défense d'office dans une cause pénale peut faire l'objet d'un recours en matière pénale. Le recourant, prévenu et auteur de la demande de désignation d'un défenseur d'office, a qualité pour recourir (<ref-law>). Le refus de désigner un avocat d'office au prévenu est susceptible de lui causer un préjudice irréparable au sens de l'<ref-law> (<ref-ruling> consid. 2.2; <ref-ruling> consid. 4). Pour le surplus, le recours est formé en temps utile (<ref-law>) contre une décision rendue en dernière instance cantonale (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>. Partant, il y a lieu d'entrer en matière.
2.
Le recourant se plaint du refus de l'instance précédente de lui désigner un avocat d'office, invoquant une violation de l'<ref-law>.
2.1. A teneur de l'<ref-law>, la direction de la procédure ordonne une défense d'office si le prévenu ne dispose pas des moyens nécessaires et que l'assistance d'un défenseur est justifiée pour sauvegarder ses intérêts. La défense d'office aux fins de protéger les intérêts du prévenu se justifie notamment lorsque l'affaire n'est pas de peu de gravité et qu'elle présente, sur le plan des faits ou du droit, des difficultés que le prévenu seul ne pourrait pas surmonter (<ref-law>). En tout état de cause, une affaire n'est pas de peu de gravité lorsque le prévenu est passible d'une peine privative de liberté de plus de quatre mois ou d'une peine pécuniaire de plus de 120 jours-amende ( <ref-law>).
Les critères énoncés par l'art. 132 al. 1 let. b, 2 et 3 CPP reprennent largement la jurisprudence du Tribunal fédéral en matière d'assistance judiciaire, rendue sur la base des art. 29 al. 3 Cst. et 6 ch. 3 let. c CEDH (<ref-ruling> consid. 3.5). Si les deux conditions mentionnées à l'<ref-law> doivent être réunies cumulativement, il n'est pas exclu que l'intervention d'un défenseur soit justifiée par d'autres motifs (comme l'indique l'adverbe "notamment "; cf. arrêt 1B_194/2021 du 21 juin 2021 consid. 3.1). La désignation d'un défenseur d'office peut ainsi s'imposer selon les circonstances, lorsque le prévenu encourt une peine privative de liberté de quelques semaines à quelques mois si, à la gravité relative du cas, s'ajoutent des difficultés particulières du point de vue de l'établissement des faits ou des questions juridiques soulevées, qu'il ne serait pas en mesure de résoudre seul. En revanche, lorsque l'infraction n'est manifestement qu'une bagatelle, en ce sens que son auteur ne s'expose qu'à une amende ou à une peine privative de liberté de courte durée, la jurisprudence considère que l'auteur n'a pas de droit constitutionnel à l'assistance judiciaire (<ref-ruling> consid. 3.5; arrêt 1B_157/2021 du 31 mars 2021 consid. 3.2).
Pour évaluer si l'affaire présente des difficultés que le prévenu ne pourrait pas surmonter sans l'aide d'un avocat, il y a lieu d'apprécier l'ensemble des circonstances concrètes. La nécessité de l'intervention d'un conseil juridique doit ainsi reposer sur des éléments objectifs, tenant principalement à la nature de la cause, et sur des éléments subjectifs, fondés sur l'aptitude concrète du requérant à mener seul la procédure (arrêt 1B_194/2021 du 21 juin 2021 consid. 3.1 et les arrêts cités).
S'agissant de la difficulté objective de la cause, à l'instar de ce qu'elle a développé en rapport avec les chances de succès d'un recours (cf. <ref-ruling> consid. 1.2; <ref-ruling> consid. 2.3.1), la jurisprudence impose de se demander si une personne raisonnable et de bonne foi, qui présenterait les mêmes caractéristiques que le requérant mais disposerait de ressources suffisantes, ferait ou non appel à un avocat (<ref-ruling> consid. 9.1). La difficulté objective d'une cause est admise sur le plan juridique lorsque la subsomption des faits donne lieu à des doutes, que ce soit de manière générale ou dans le cas particulier. Pour apprécier la difficulté subjective d'une cause, il faut tenir compte des capacités du prévenu, notamment de son âge, de sa formation, de sa plus ou moins grande familiarité avec la pratique judiciaire, de sa maîtrise de la langue de la procédure, ainsi que des mesures qui paraissent nécessaires, dans le cas particulier, pour assurer sa défense, notamment en ce qui concerne les preuves qu'il devra offrir (arrêts 1B_229/2021 du 9 septembre 2021 consid. 4.1; 1B_194/2021 du 21 juin 2021 consid. 3.1 et les arrêts cités).
2.2. La cour cantonale a constaté que l'indigence du recourant n'était pas contestée. Elle a ensuite considéré que la cause était d'une certaine gravité dès lors que le Ministère public avait condamné le recourant à une peine privative de liberté ferme de 6 mois, soit une peine située au-delà du seuil de 4 mois prévu par l'<ref-law>. Elle a toutefois estimé que la cause ne revêtait pas de difficultés particulières en fait ou en droit propres à justifier l'intervention d'un avocat.
2.3. En l'occurrence, il est reproché au recourant d'être entré et d'avoir voyagé sur le territoire suisse en dépit d'une décision d'expulsion judiciaire. Celui-ci avait été interpellé le 6 mai 2021 par le personnel du corps des gardes-frontières dans un bus effectuant le trajet de Milan à Genève. Interrogé en anglais par la police le jour même de son interpellation, le recourant, assisté d'un interprète, a expliqué avoir pris le bus à Milan pour aller voir son épouse et ses trois enfants, domiciliés dans le canton de Genève. Il a précisé qu'il savait qu'il n'avait pas le droit d'entrer en Suisse et que c'était la première fois qu'il agissait de la sorte depuis son expulsion en 2019.
Contrairement à ce que prétend le recourant, la cause ne présente pas, sur le plan des faits et du droit, de difficultés qu'il ne pourrait pas surmonter sans l'aide d'un avocat. Le recourant a en effet admis les faits qui lui sont reprochés et il s'agit d'une procédure pénale simple qui ne soulève pas de questions délicates, y compris en lien avec l'éventuel état de récidive du prévenu. En se contentant d'affirmer de manière appellatoire que, en raison de ses antécédents, la question de la révocation du sursis serait complexe, tout comme celle de l'obtention du sursis, la critique du recourant ne satisfait pas aux exigences de motivation de l'<ref-law>; le recourant ne prend en particulier pas la peine d'exposer ses précédentes condamnations pénales. Cela étant, la question de la révocation d'un précédent sursis ne présente pas de difficulté particulière en l'espèce et elle constitue une question courante de droit pénal que le tribunal examine d'office. Le Ministère public a, à cet égard, exposé dans son ordonnance avoir renoncé à la révocation du sursis accordé le 10 avril 2019, les infractions commises étant de nature différentes (crime contre la loi sur les stupéfiants, d'une part, et rupture de ban, d'autre part). Il ressort de l'ordonnance pénale que le recourant a été impliqué dans plusieurs procédures pénales en Suisse, une pour infraction grave à la loi sur les stupéfiants et, à deux reprises, pour infraction d'entrée illégale au sens de la loi fédérale sur les étrangers et l'intégration; le recourant n'est donc pas dénué de toute expérience devant les autorités pénales et apparaît en mesure de comprendre l'enjeu de la situation, quoi qu'il en dise.
Le fait que le prévenu soit domicilié à l'étranger ne suffit pas non plus à rendre nécessaire l'assistance d'un avocat. Admettre le contraire aurait notamment pour conséquence que tout prévenu, domicilié à l'étranger, devrait systématiquement être pourvu d'un défenseur d'office, quand bien même il serait en mesure d'assumer lui-même efficacement sa défense. Par ailleurs, quoi qu'en pense le recourant, la nomination d'un défenseur d'office ne s'imposait pas non plus à raison de la langue, l'assistance d'un interprète ou d'un traducteur étant en pareil cas suffisante (cf. arrêt 6B_587/2013 du 22 décembre 2014 consid. 4). A cet égard, il sied de relever que, par son argumentation, le recourant semble en outre méconnaître que l'<ref-law> garantit au prévenu que le contenu essentiel des actes de procédure les plus importants - dont le jugement qui sera prononcé - sera porté à sa connaissance oralement ou par écrit dans une langue qu'il comprend même s'il est assisté d'un défenseur, étant néanmoins précisé qu'il n'existe pas de droit à une traduction intégrale d'un jugement écrit (cf. <ref-ruling> consid. 1.3.3; <ref-ruling> consid. 6b).
Enfin, le recourant ne saurait tirer argument du fait qu'il souhaite demander à la direction de la procédure qu'elle lui octroie un sauf-conduit pour se présenter à l'audience de jugement en Suisse, mais également qu'elle procède à l'audition de son épouse et mère de ses enfants domiciliée à Genève; a ucun élément au dossier ne permet en effet de retenir que le recourant ne serait pas capable, sans l'assistance d'un avocat, de formuler ces demandes.
2.4. Par conséquent, la cour cantonale pouvait, sans violer le droit fédéral, considérer que les conditions de l'<ref-law> n'étaient pas réalisées.
3.
Le recours doit par conséquent être rejeté dans la mesure de sa recevabilité.
Cette issue était d'emblée prévisible, ce qui conduit au rejet de la demande d'assistance jud iciaire. Vu les circonstances, il sera exceptionnellement statué sans frais (art. 66 al. 1, deuxième phrase, LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public de l'arrondissement de Lausanne et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 janvier 2022
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
La Juge présidante : Jametti
La Greffière : Arn