Sachverhalt:
A.
Die regionale Staatsanwaltschaft Berner Jura-Seeland führt gegen A.A._ und dessen Ehefrau B.A._ ein Strafverfahren wegen unrechtmässigen Bezugs von Sozialleistungen. Der mutmassliche Deliktsbetrag beläuft sich dabei auf rund Fr. 22'000.--.
Ein Gesuch A.A._s bzw. seines Anwalts Michael Walpen um Gewährung der amtlichen Verteidigung vom 17. Dezember 2020 wurde von der Staatsanwaltschaft am 20. Januar 2021 abgewiesen.
B.
Gegen diesen Entscheid gelangte A.A._ am 1. Februar 2021 an das Obergericht des Kantons Bern. Am 16. März 2021 wies dieses sein Rechtsmittel ab.
C.
Mit Beschwerde in Strafsachen vom 3. Mai 2021 beantragt A.A._ beim Bundesgericht, den Entscheid des Obergerichts aufzuheben und ihm rückwirkend ab dem 17. Dezember 2020 die amtliche Verteidigung durch seinen Anwalt zu gewähren. Eventualiter sei die Sache unter Aufhebung des Entscheids des Obergerichts zur neuen Beurteilung an die Staatsanwaltschaft zurückzuweisen. Subeventualiter sei dieser Entscheid aufzuheben und eine Rückweisung an das Obergericht vorzunehmen. Ferner verlangt der Beschwerdeführer eine Parteientschädigung für das Verfahren vor der Vorinstanz. Zudem ersucht er um unentgeltliche Prozessführung und Rechtsverbeiständung für das Verfahren vor Bundesgericht.
Die Staatsanwaltschaft und das Obergericht verzichten auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher, selbständig eröffneter Zwischenentscheid in einer Strafsache, der für den Beschwerdeführer einen nicht wieder gutzumachenden Nachteil bewirken kann, da er die Abweisung des Gesuchs um Gewährung der amtlichen Verteidigung bestätigt. Dagegen steht die Beschwerde in Strafsachen an das Bundesgericht offen (vgl. Art. 78 Abs. 1, Art. 80 und Art. 93 Abs. 1 lit. a BGG; <ref-ruling> E. 2.2; <ref-ruling> E. 4; je mit Hinweisen). Der Beschwerdeführer ist gemäss Art. 81 Abs. 1 BGG zur Beschwerde berechtigt. Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
1.2. Art. 95 ff. BGG nennen die vor Bundesgericht zulässigen Beschwerdegründe. Hinsichtlich der Verletzung von Grundrechten besteht eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.1, 65 E. 1.3.1 mit Hinweisen).
1.3. Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2).
2.
Die Verteidigung ist in den Art. 128 ff. StPO geregelt. In besonders schwer wiegenden Straffällen ist sie unter bestimmten Voraussetzungen notwendig, d.h. der beschuldigten Person muss auf jeden Fall ein Verteidiger zur Seite gestellt werden. Bestimmt sie keinen Wahlverteidiger, muss ihr diesfalls zwingend ein amtlicher Verteidiger bestellt werden (Art. 132 Abs. 1 lit. a StPO). In Bagatellfällen besteht dagegen grundsätzlich kein Anspruch auf amtliche Verteidigung (Art. 132 Abs. 2 StPO). Steht für den Fall einer Verurteilung eine Freiheitsstrafe von über 4 Monaten oder eine Geldstrafe von über 120 Tagessätzen in Aussicht, liegt jedenfalls kein Bagatellfall mehr vor (Art. 132 Abs. 3 StPO). In den dazwischen liegenden Fällen relativer Schwere ist eine amtliche Verteidigung anzuordnen, wenn der Beschuldigte nicht über die erforderlichen Mittel verfügt und die Verteidigung zur Wahrung seiner Interessen geboten erscheint (Art. 132 Abs. 1 lit. b StPO). Letzteres ist dann der Fall, wenn der Straffall in tatsächlicher oder rechtlicher Hinsicht Probleme aufwirft, denen der Beschuldigte allein nicht gewachsen ist (Art. 132 Abs. 2 StPO). Mit dieser Regelung der amtlichen Verteidigung wird die bisherige bundesgerichtliche Rechtsprechung zu Art. 29 Abs. 3 BV und Art. 6 Ziff. 3 lit. c EMRK für den Bereich des Strafprozessrechts umgesetzt (<ref-ruling> E. 3.5 mit Hinweis). Daraus, aber auch aus dem Wortlaut von Art. 132 Abs. 3 StPO ("jedenfalls dann nicht"), folgt, dass nicht automatisch von einem Bagatellfall auszugehen ist, wenn die im Gesetz genannten Schwellenwerte nicht erreicht sind. Weiter ist zu berücksichtigen, dass die Formulierung von Art. 132 Abs. 2 StPO durch die Verwendung des Worts "namentlich" zum Ausdruck bringt, dass nicht ausgeschlossen ist, neben den beiden genannten Kriterien (kein Bagatellfall; tatsächliche und rechtliche Schwierigkeiten, denen die beschuldigte Person allein nicht gewachsen wäre) weitere Gesichtspunkte zu berücksichtigen. Mithin ist eine Beurteilung der konkreten Umstände des Einzelfalls notwendig, die sich einer strengen Schematisierung entzieht. Immerhin lässt sich festhalten, dass je schwerwiegender der Eingriff in die Interessen der betroffenen Person ist, desto geringer die Anforderungen an die erwähnten tatsächlichen und rechtlichen Schwierigkeiten sind, und umgekehrt (zum Ganzen: <ref-ruling> E. 3.5 mit Hinweisen).
Familiäre Interessenkonflikte, Sprachschwierigkeiten, mangelnde Schulbildung oder die Konfrontation mit anwaltlich vertretenen Gegenparteien bzw. Mitbeschuldigten können tatsächliche oder rechtliche Schwierigkeiten begründen, welche, insgesamt betrachtet, für die sachliche Notwendigkeit einer amtlichen Verteidigung sprechen (<ref-ruling> E. 6.3-6.4 mit Hinweisen; Urteile 1B_170/2013 vom 30. Mai 2013 E. 4.5; 1B_195/2012 vom 7. Mai 2012 E. 2.4).
3.
3.1. Was die amtliche Verteidigung im Sinne von Art. 132 Abs. 1 lit. b StPO betrifft, erfüllt der Beschwerdeführer unbestrittenermassen die Voraussetzung des Fehlens der erforderlichen Mittel.
3.2. Die Vorinstanz führte aus, in den Richtlinien für die Strafzumessung des Verbands Bernischer RichterInnen und StaatsanwältInnen werde bei einem Betrug (Art. 146 StGB) mit einem Deliktsbetrag von Fr. 20'000.-- ein Strafmass von 120 Strafeinheiten empfohlen. Deshalb und weil der Betrug unter eine massiv höhere Strafdrohung als der unrechtmässige Bezug von Leistungen einer Sozialversicherung oder der Sozialhilfe (Art. 148a StGB) gestellt sei, drohe dem Beschwerdeführer eine Strafe von weniger als 120 Strafeinheiten, mithin eine die Grenzwerte von Art. 132 Abs. 3 StPO unterschreitende Strafe. Die Vorinstanz erklärte zugleich, eine amtliche Verteidigung müsse vorliegend aufgrund besonderer Umstände angezeigt sein.
Die Strafandrohung bei unrechtmässigem Bezug von Leistungen einer Sozialversicherung oder der Sozialhilfe ist in leichten Fällen Busse (Art. 148a Abs. 2 StGB) und im Übrigen Freiheitsstrafe bis zu einem Jahr oder Geldstrafe (Art. 148a Abs. 1 StGB). Es bestehen keine Anhaltspunkte, dass es sich vorliegend - insbesondere mit Blick auf den Deliktsbetrag und das Verschulden des Beschwerdeführers reduzierende Elemente - um einen leichten Fall gemäss Art. 148a Abs. 2 StGB handeln könnte (vgl. dazu Urteil 6B_1161/2019 vom 13. Oktober 2020 E. 1.2). Das Obergericht hat sodann zu Recht nicht die abstrakte Strafdrohung von Freiheitsstrafe bis zu einem Jahr oder Geldstrafe (Art. 148a Abs. 1 StGB) als massgebend erachtet. Ausschlaggebend ist eine konkrete Betrachtungsweise (vgl. <ref-ruling> E. 3 mit Hinweisen auf die Rechtsprechung des EGMR). Angesichts des mutmasslichen Deliktsbetrages von rund Fr. 22'000.-- erscheint die vorinstanzliche Einschätzung, wonach dem Beschwerdeführer eine Freiheitsstrafe von ungefähr 120 Tagen droht, plausibel (vgl. dazu auch E. II.1 und IV.7 des Urteils des Obergerichts des Kantons Zürich SB190570 vom 10. Juli 2020).
Somit steht fest, dass dem Beschwerdeführer eine Strafe droht, die an der Grenze zum Bagatellfall liegt. Entsprechend sind für die Annahme von tatsächlichen und/oder rechtlichen Schwierigkeiten, denen der Beschwerdeführer allein nicht gewachsen wäre, erhöhte Anforderungen zu stellen.
4.
4.1. Die Vorinstanz führte aus, soweit das Strafverfahren wegen unrechtmässigen Bezuges von Leistungen einer Sozialversicherung oder der Sozialhilfe (Art. 148a StGB) die Ehefrau betreffe, handle es sich nicht um einen Bagatellfall, weil dieser als Ausländerin eine Landesverweisung nach Art. 66a Abs. 1 lit. e StGB drohe. Auch sprach die Vorinstanz explizit von der Möglichkeit, dass die Aussagen des Beschwerdeführers Einfluss auf den Entscheid betreffend diese Landverweisung und damit auch Auswirkungen auf sein eigenes Leben haben könnten.
Über die genannte Möglichkeit hinaus ist aber bei dieser Sachlage ohne Weiteres auch davon auszugehen, dass Aussagen der Ehefrau im Strafverfahren die strafrechtliche Beurteilung des Verhaltens des Beschwerdeführers beeinflussen können. Damit liegt ein Interessenkonflikt vor.
4.2. Dass die Ehefrau zudem anwaltlich vertreten ist, spricht ebenfalls dafür, dem Beschwerdeführer die amtliche Verteidigung zu gewähren (vgl. <ref-ruling> E. 3.4 und E. 3.6; Urteile 1B_12/2019 vom 14. Mai 2019 E. 2.6; 1B_192/2018 vom 17. Juli 2018 E. 2.3). Es kommt hinzu, dass der Beschwerdeführer unbestrittenermassen fremdsprachig ist. Zwar konnte eine Befragung des Beschwerdeführers gemäss dem angefochtenen Beschluss grundsätzlich auf Deutsch durchgeführt werden. Doch hält die Vorinstanz selbst fest, dass "bei Bedarf" eine Übersetzung auf Bosnisch erfolgen musste. Schliesslich reicht der in Frage stehende Sachverhalt gemäss der Strafanzeige vom 10. September 2020 bis in den Juli 2018 zurück und betrifft verschiedene, angeblich nicht deklarierte Einnahmen. Es liegen somit bei einer Gesamtbetrachtung tatsächliche oder rechtliche Schwierigkeiten vor, welchen der Beschwerdeführer - auf sich allein gestellt - nicht gewachsen wäre.
5.
Die Beschwerde ist somit gutzuheissen. Der angefochtene Entscheid ist aufzuheben und der Rechtsvertreter des Beschwerdeführers rückwirkend ab dem Zeitpunkt der Gesuchstellung, das heisst ab dem 17. Dezember 2020, für das Strafverfahren als amtlicher Verteidiger einzusetzen (vgl. <ref-ruling> E. 2f; Urteil 1B_205/2019 vom 14. Juni 2019 E. 5).
Gerichtskosten sind keine zu erheben (Art. 66 Abs. 4 BGG). Der Kanton Bern hat dem Rechtsvertreter des Beschwerdeführers für das Verfahren vor Bundesgericht und das vorinstanzliche Verfahren eine Entschädigung zu bezahlen (vgl. Art. 68 Abs. 1 f. und Abs. 5 BGG). Auf die Rückweisung der Akten an die Vorinstanz zur Neufestsetzung der kantonalen Entschädigungsfolgen kann daher verzichtet werden. Auch wird mit der Ausrichtung der Parteientschädigung das Gesuch um unentgeltliche Rechtspflege und unentgeltliche Verbeiständung gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Obergerichts des Kantons Bern vom 16. März 2021 wird aufgehoben und Rechtsanwalt Michael Walpen ab dem 17. Dezember 2020 als amtlicher Verteidiger des Beschwerdeführers bestellt.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Bern hat dem Vertreter des Beschwerdeführers, Rechtsanwalt Michael Walpen, für das vorinstanzliche Verfahren und das Verfahren vor dem Bundesgericht eine Entschädigung von insgesamt Fr. 3'000.-- zu bezahlen.
4.
Dieses Urteil wird dem Beschwerdeführer, der Generalstaatsanwaltschaft des Kantons Bern und dem Obergericht des Kantons Bern, Beschwerdekammer in Strafsachen, schriftlich mitgeteilt.
Lausanne, 16. Juli 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: König