Sachverhalt:
A.
Die Staatsanwaltschaft Muri-Bremgarten sprach A._ mit Strafbefehl vom 17. Februar 2020 des Diebstahls, des mehrfachen versuchten Diebstahls und des mehrfachen Erwerbs, Besitzes und Konsums von Betäubungsmitteln schuldig. Sie verurteilte ihn zu einer unbedingten Freiheitsstrafe von 120 Tagen und einer Busse von Fr. 200.--, wobei sie für die Busse eine Ersatzfreiheitsstrafe von zwei Tagen vorsah.
Gegen den Strafbefehl erhob A._ Einsprache. Am 18. August 2020 ersuchte er um die Einsetzung von Rechtsanwalt Daniel Wipf als amtlichen Verteidiger. Mit Verfügung vom 2. September 2020 wies die Staatsanwaltschaft das Gesuch ab.
Eine gegen diese Verfügung erhobene Beschwerde wies das Obergericht des Kantons Aargau mit Entscheid vom 20. November 2020 ab. Zudem wies es auch das Gesuch A._s um unentgeltliche Rechtspflege ab und auferlegte ihm die Verfahrenskosten.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 28. Dezember 2020 beantragt A._, der Entscheid des Obergerichts sei aufzuheben und Rechtsanwalt Wipf als amtlicher Verteidiger einzusetzen. Die Kosten des vorinstanzlichen Verfahrens seien auf die Staatskasse zu nehmen und sein Verteidiger sei gemäss Honorarnote und ohne eine ihn selbst treffende Rückerstattungspflicht aus der Staatskasse zu entschädigen. Eventualiter sei für das vorinstanzliche Verfahren die amtliche Verteidigung zu gewähren.
Das Obergericht hat auf eine Stellungnahme verzichtet, ebenso die Oberstaatsanwaltschaft. Die Staatsanwaltschaft Muri-Bremgarten hat sich nicht vernehmen lassen.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Entscheid über die Gewährung der amtlichen Verteidigung in einem Strafverfahren. Dagegen ist die Beschwerde in Strafsachen zulässig (Art. 78 Abs. 1 und Art. 80 BGG). Es handelt sich um einen selbstständig eröffneten Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; <ref-ruling> E. 4 S. 338; Urteil 1B_66/2015 vom 12. August 2015 E. 1, in: Pra 2015 Nr. 107 S. 872; je mit Hinweisen). Der Beschwerdeführer, der im Strafverfahren beschuldigt wird und dessen Gesuch um amtliche Verteidigung abgewiesen wurde, ist zur Beschwerdeführung befugt (<ref-law>). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde in Strafsachen ist einzutreten.
2.
2.1. Der Beschwerdeführer rügt, die Verweigerung der amtlichen Verteidigung verletze <ref-law>, <ref-law> und Art. 6 Ziff. 3 lit. c EMRK.
2.2. Das Obergericht führt aus, dem Beschwerdeführer werde vorgeworfen, zusammen mit einer weiteren Person in der Nacht vom 10. auf den 11. Oktober 2019 aus einem unverschlossenen Personenwagen Bargeld in der Höhe von Fr. 30.-- genommen und versucht zu haben, aus weiteren parkierten Personenwagen Bargeld und Wertsachen zu entwenden. Zudem werde ihm vorgeworfen, zwischen dem 18. Februar 2017 und dem 20. Januar 2020 mehrfach unbefugt Betäubungsmittel gekauft oder sonst wie erlangt, in Besitz genommen und konsumiert zu haben. Das Geschehnis vom 10./11. Oktober 2019 sei von Zeugen beobachtet und einer der Täter als Träger eines Baseballcaps identifiziert worden, das er auf der Flucht verloren habe. Das Baseballcap habe einzig die DNA-Spuren des Beschwerdeführers aufgewiesen. Dieser behaupte, es sei ihm vor drei Monaten gestohlen worden und er habe sich zum Tatzeitpunkt nicht am Tatort befunden. Die Verstösse gegen das Betäubungsmittelgesetz habe er dagegen anerkannt. Es gehe um einfache Tatbestände, die rechtliche Subsumtion biete keinen Anlass zu Streitigkeiten.
Der Beschwerdeführer, so das Obergericht weiter, sei bereits siebenmal wegen Diebstahl verurteilt worden. Ihm sei der Ablauf eines Strafverfahrens demnach bestens bekannt. Auch der Umstand, dass er in der Lage gewesen sei, den Tatvorwurf zu bestreiten, sich zu einer Konfrontationseinvernahme bereit zu erklären und selbst einen Rechtsanwalt zu mandatieren, spreche für seine Fähigkeit, sich im Justizsystem der Schweiz zurechtzufinden. Das schweizerische Rechtssystem sei ihm demnach in den Grundzügen vertraut. Überdies sei er offenbar in der Lage gewesen, die Einsprache gegen den Strafbefehl ohne den Beizug eines amtlichen Verteidigers zu verfassen. Weshalb ihm mangelnde Schreibkenntnisse oder Probleme beim Zugang zu Informationen im Weg stehen sollten, sei daher nicht ersichtlich. Wenn er die Einsprache nicht selbstständig handschriftlich verfasst habe, sei er doch zumindest imstande, sich entsprechende Unterstützung zu besorgen. Dass er Analphabet sei, sei nicht glaubwürdig, habe er doch laut eigenen Angaben vier Jahre lang in Marokko die Schule besucht und zudem eine Ausbildung zum Möbelrestaurateur in Casablanca absolviert. Zudem stellten sprachliche Probleme keinen Grund für eine amtliche Verteidigung dar. Vielmehr sei diesfalls ein Dolmetscher zu beauftragen.
Ferner mache der Beschwerdeführer geltend, er leide an unbehandelten Depressionen und nehme an einem Methadonprogramm teil. Er sei auf Dormicum, Seresta und Ketalgin angewiesen. Er lege jedoch einzig ein Rezept für Dormicum vor, ein Beleg für die weiteren Medikamente und die angeblichen Depressionen fehle. Laut seinen eigenen Angaben erhalte er Dormicum als Ersatz für Heroin. Zudem lege er auch nicht dar, wie sich die unbehandelten Depressionen oder die Einnahme der Medikamente auf die Fähigkeit, sich selbst verteidigen zu können, auswirken sollten. Eine amtliche Verteidigung erscheine deshalb insgesamt nicht erforderlich.
2.3. Die Verteidigung ist in den <ref-law> geregelt. In besonders schwer wiegenden Straffällen ist sie unter bestimmten Voraussetzungen notwendig, d.h. der beschuldigten Person muss auf jeden Fall ein Verteidiger zur Seite gestellt werden. Bestimmt sie keinen Wahlverteidiger, muss ihr diesfalls zwingend ein amtlicher Verteidiger bestellt werden (<ref-law>). In Bagatellfällen besteht dagegen grundsätzlich kein Anspruch auf amtliche Verteidigung (<ref-law>). Steht für den Fall einer Verurteilung eine Freiheitsstrafe von über 4 Monaten, eine Geldstrafe von über 120 Tagessätzen oder gemeinnützige Arbeit von mehr als 480 Stunden in Aussicht, liegt jedenfalls kein Bagatellfall mehr vor (<ref-law>). In den dazwischen liegenden Fällen relativer Schwere ist eine amtliche Verteidigung anzuordnen, wenn der Beschuldigte nicht über die erforderlichen Mittel verfügt und die Verteidigung zur Wahrung seiner Interessen geboten erscheint (<ref-law>). Letzteres ist dann der Fall, wenn der Straffall in tatsächlicher oder rechtlicher Hinsicht Probleme aufwirft, denen der Beschuldigte allein nicht gewachsen ist (<ref-law>). Mit dieser Regelung der amtlichen Verteidigung wird die bisherige bundesgerichtliche Rechtsprechung zu <ref-law> und Art. 6 Ziff. 3 lit. c EMRK für den Bereich des Strafprozessrechts umgesetzt (<ref-ruling> E. 3.5 S. 174 mit Hinweis).
Daraus, aber auch aus dem Wortlaut von <ref-law> ("jedenfalls dann nicht"), folgt, dass nicht automatisch von einem Bagatellfall auszugehen ist, wenn die im Gesetz genannten Schwellenwerte nicht erreicht sind. Weiter ist zu berücksichtigen, dass die Formulierung von Abs. 2 durch die Verwendung des Worts "namentlich" zum Ausdruck bringt, dass nicht ausgeschlossen ist, neben den beiden genannten Kriterien (kein Bagatellfall; tatsächliche und rechtliche Schwierigkeiten, denen die beschuldigte Person allein nicht gewachsen wäre) weitere Gesichtspunkte zu berücksichtigen. Mithin ist eine Beurteilung der konkreten Umstände des Einzelfalls notwendig, die sich einer strengen Schematisierung entzieht. Immerhin lässt sich festhalten, dass je schwerwiegender der Eingriff in die Interessen der betroffenen Person ist, desto geringer die Anforderungen an die erwähnten tatsächlichen und rechtlichen Schwierigkeiten sind, und umgekehrt (zum Ganzen: <ref-ruling> E. 3.5 S. 174 f. mit Hinweisen).
2.4. Zur drohenden Strafe legt das Obergericht dar, der Beschwerdeführer müsse mit einer Freiheitsstrafe von 120 Tagen rechnen. Die Ausfällung einer höheren Strafe im hängigen gerichtlichen Verfahren sei zwar nicht ausgeschlossen, aber zurzeit rein theoretischer Natur. Dasselbe gelte für die Umwandlung der Busse in eine Ersatzfreiheitsstrafe von zwei Tagen.
Der Beschwerdeführer hält dem entgegen, die Busse sei eine zusätzliche Sanktion. Er sei Nothilfeempfänger, weshalb die Umwandlung in eine Freiheitsstrafe von zwei Tagen keineswegs theoretisch sei. Hinzu komme, dass nach seiner Einsprache gegen den Strafbefehl das Verschlechterungsverbot nicht gelte. Die Höchststrafe bei Diebstahl betrage fünf Jahre (Urteil des EGMR Quaranta gegen die Schweiz vom 24. Mai 1991, Nr. 12744/87, Serie A Nr. 205, Ziff. 33).
Obwohl das Verschlechterungsverbot (Verbot der reformatio in peius) im Verfahren vor dem erstinstanzlichen Gericht nach der Einsprache gegen einen Strafbefehl nicht gilt (Urteil 6B_1079/2015 vom 29. Februar 2016 E. 5.1 mit Hinweis), hat das Obergericht zu Recht nicht die abstrakte Strafdrohung von fünf Jahren Freiheitsstrafe (<ref-law>) als massgebend erachtet. Ausschlaggebend ist eine konkrete Betrachtungsweise, weshalb gestützt auf den Strafbefehl davon auszugehen ist, dass dem Beschwerdeführer eine unbedingte Freiheitsstrafe von ungefähr 120 Tagen droht (vgl. <ref-ruling> E. 3 S. 171 ff. mit Hinweisen auf die Rechtsprechung des EGMR). Da, wie im Vorangehenden dargelegt, nicht schematisch auf eine bestimmte Schwelle abzustellen ist, kommt es zudem nicht darauf an, ob eine Freiheitsstrafe von leicht mehr als 120 Tagen (vier Monaten, vgl. <ref-law>) droht oder nicht. Selbst wenn die Busse in eine Freiheitsstrafe von zwei Tagen umgewandelt werden würde, fiele dies deshalb für die Beurteilung des Anspruchs auf amtliche Verteidigung nicht ins Gewicht. Somit steht fest, dass dem Beschwerdeführer eine Strafe droht, die an der Grenze zum Bagatellfall liegt. Entsprechend sind an die tatsächlichen und rechtlichen Schwierigkeiten, mit denen der Beschwerdeführer konfrontiert ist, erhöhte Anforderungen zu stellen.
2.5. Die dem Beschwerdeführer zur Last gelegten Delikte sind einfach gelagert. Indessen ist auch in Betracht zu ziehen, dass es sich um eine Mehrzahl von Tatvorwürfen handelt, die sowohl den versuchten als auch den vollendeten Diebstahl umfassen, was bereits eine gewisse Komplexität darstellt (vgl. Urteil 1B_167/2016 vom 1. Juli 2016 E. 3.6 mit Hinweisen). Die bereits mehrfache Verurteilung wegen Diebstahl bedeutet weiter zwar eine gewisse Erfahrung mit Strafverfahren. Diese darf jedoch nicht überschätzt werden. Gemäss dem in den Akten liegenden Strafregisterauszug wurde nur ein einziges Verfahren nicht mit Strafbefehl erledigt. Zudem stellen sich in jedem Verfahren wieder andere Fragen (zum Ganzen: Urteil 1B_205/2019 vom 14. Juni 2019 E. 4.4). Der derzeit noch durch einen frei gewählten Verteidiger vertretene Beschwerdeführer weist diesbezüglich unter anderem darauf hin, dass bisher keine Zeugeneinvernahme unter Wahrung des Konfrontationsrechts stattgefunden habe und dass es für einen Laien unmöglich sei, die Bedeutung der in den Akten befindlichen DNA-Analyse zu verstehen, zumal die Wahrscheinlichkeit der Zuordnung zu seiner Person nicht berechnet worden sei und damit der Beweiswert nicht feststehe. Diese Vorbringen, die vom Obergericht und der Staatsanwaltschaft im Rahmen des Schriftenwechsels nicht in Abrede gestellt worden sind, überzeugen.
Weshalb der Umstand, dass der Beschwerdeführer in der Lage war, selbst einen Rechtsanwalt zu mandatieren, für seine Fähigkeit sprechen sollte, sich im Justizsystem der Schweiz zurechtzufinden, ist nicht ersichtlich. Die vorinstanzliche Argumentation überzeugt umso weniger, als der Beschwerdeführer zuvor von den Strafverfolgungsbehörden (in Erfüllung ihrer gesetzlichen Pflicht nach <ref-law>) auf das Recht, eine Verteidigung zu bestellen oder gegebenenfalls eine amtliche Verteidigung zu beantragen, aufmerksam gemacht worden war (vgl. auch Urteil 1B_66/2015 12. August 2015 E. 2.5).
Dem Obergericht ist weiter nicht zu folgen, wenn es die Auffassung vertritt, dass der Beschwerdeführer, wenn er die Einsprache nicht selbstständig verfasst habe, doch zumindest imstande sei, sich Unterstützung zu besorgen. Der Beschwerdeführer macht diesbezüglich geltend, er sei im Rückkehrzentrum (RKZ) Urdorf von einer NGO betreut worden, die auch den Kontakt zu Rechtsanwalt Wipf hergestellt habe. Ein derartiger, rechtlich nicht hinreichend abgesicherter Beistand entbindet die Strafbehörden jedoch bei Vorliegen der gesetzlichen Voraussetzungen nicht davon, einen amtlichen Verteidiger einzusetzen (Urteil 1B_23/2016 vom 8. Februar 2016 E. 2.6).
Zu berücksichtigen ist weiter, dass der Beschwerdeführer im vorinstanzlichen Verfahren einen Beleg dafür vorgelegt hat, dass ihm Dormicum verschrieben worden ist. Bereits in seiner polizeilichen Einvernahme vom 20. Januar 2020 gab er dazu an, dieses bezwecke die Heroinsubstitution. Bei Dormicum handelt es sich um ein stark wirkendes Einschlafmittel, dessen Standarddosis 7,5 bis 15 mg beträgt (vgl. das Online-Arzneimittel-Kompendium https://compendium.ch, Stichwort "Dormicum", zuletzt besucht am 12. März 2021). Auch wenn die Vorinstanz zu Recht darauf hinweist, dass Belege für die weiteren Medikamente und die angeblichen Depressionen fehlen, so fällt doch auf, dass die Verschreibung fünf Tabletten pro Tag zu je 15 mg beträgt. Weshalb die Vorinstanz erwägt, der Beschwerdeführer habe nicht dargelegt, wie sich dies auf die Fähigkeit, sich selbst verteidigen zu können, auswirken solle, ist vor dem Hintergrund dieser Dosierung (75 mg/Tag) und der sedierenden Wirkung des Medikaments nicht nachvollziehbar.
Der Beschwerdeführer hat gemäss den vorinstanzlichen Feststellungen zudem nur eine minimale Schulbildung und beherrscht die deutsche Sprache nicht. Ob er gar Analphabet ist, scheint ohne Bedeutung. Zwar trifft zu, dass sprachliche Schwierigkeiten mit einem Dolmetscher überwunden werden können, weshalb diese allein noch keine amtliche Verteidigung erforderlich machen (Urteil 1B_66/2015 12. August 2015 E. 2.5 mit Hinweis). Doch auch wenn dem Beschwerdeführer ein Dolmetscher bestellt wird, ist unter den dargelegten Voraussetzungen fraglich, inwieweit er in der Lage ist, ohne anwaltliche Unterstützung die Akten zu studieren, Beweisanträge zu stellen und bei den aufgeworfenen Rechtsfragen seine Argumente gezielt vorzutragen.
Die Rüge der Verletzung von <ref-law>, <ref-law> und Art. 6 Ziff. 3 lit. c EMRK erweist sich somit als begründet.
3.
Die Beschwerde ist deshalb gutzuheissen und der angefochtene Entscheid aufzuheben. Rechtsanwalt Wipf ist rückwirkend ab dem Zeitpunkt der Gesuchstellung als amtlicher Verteidiger einzusetzen (<ref-law>). Dass Gründe für die Einsetzung ab einem früheren Zeitpunkt bestünden, weil der Verteidiger bereits davor dringliche Verteidigungshandlungen hätte vornehmen müssen, ohne dass er gleichzeitig ein Gesuch um amtliche Verteidigung hätte stellen können, ist nicht dargetan (Urteil 1B_205/2019 vom 14. Juni 2019 E. 5 mit Hinweisen).
Dem Ausgang des bundesgerichtlichen Verfahrens entsprechend sind keine Gerichtskosten zu erheben (<ref-law>). Der Kanton Aargau hat dem Beschwerdeführer für das kantonale Beschwerdeverfahren und für das Verfahren vor Bundesgericht eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 und 5 BGG, <ref-law>). Der betreffende Honoraranspruch wird dem Rechtsvertreter des Beschwerdeführers persönlich zugesprochen (vgl. <ref-law>). Damit wird das Gesuch um unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, der angefochtene Entscheid aufgehoben und Rechtsanwalt Daniel Wipf rückwirkend auf den 18. August 2020 als amtlicher Verteidiger bestellt.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Aargau hat Rechtsanwalt Daniel Wipf für das kantonale Beschwerdeverfahren und das Verfahren vor Bundesgericht mit insgesamt Fr. 4'000.-- zu entschädigen.
4.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Muri-Bremgarten, der Oberstaatsanwaltschaft und dem Obergericht des Kantons Aargau, Beschwerdekammer in Strafsachen, schriftlich mitgeteilt.
Lausanne, 22. März 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold