Sachverhalt:
A.
Mit Verfügung vom 15. September 2021 versetzte das Haftgericht des Kantons Solothurn den am 12. September 2021 verhafteten A._ für zwei Monate in Untersuchungshaft. Am 5. November 2021 erhob die Staatsanwaltschaft des Kantons Solothurn beim Richteramt Olten-Gösgen Anklage gegen A._ wegen versuchten Diebstahls, Sachbeschädigung und Hausfriedensbruchs. Sie wirft ihm vor, am 12. Juli 2021 in Büroräumlichkeiten eingedrungen zu sein und diese ohne Erfolg nach Deliktsgut durchsucht zu haben. Sie beantragt eine unbedingt ausgesprochene Freiheitsstrafe von zehn Monaten und eine Landesverweisung von acht Jahren. Gleichzeitig mit der Anklageerhebung ersuchte die Staatsanwaltschaft das Haftgericht um Anordnung von Sicherheitshaft für die Dauer von drei Monaten. Mit Verfügung vom 15. November 2021 gab das Haftgericht dem Ersuchen statt und ordnete Sicherheitshaft bis zum 4. Februar 2022 an.
B.
Gegen die Anordnung der Sicherheitshaft gelangte A._ an das Obergericht des Kantons Solothurn. Mit Beschluss vom 6. Dezember 2021 wies das Gericht das Rechtsmittel ab.
C.
Mit Beschwerde in Strafsachen vom 12. Dezember 2021 an das Bundesgericht beantragt A._, den Beschluss des Obergerichts aufzuheben und ihn sofort aus der Haft zu entlassen. Mit Eingabe vom 16. Dezember 2021 ersucht er für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege.
Die Staatsanwaltschaft und das Obergericht beantragen die Abweisung der Beschwerde. A._ hat keine weitere Stellungnahme eingereicht. Sein amtlicher Verteidiger, der über den Eingang der Beschwerde informiert worden ist, hat sich nicht geäussert.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Entscheid über die Anordnung von Sicherheitshaft. Dagegen steht die Beschwerde in Strafsachen nach <ref-law> offen. Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen, befindet sich weiterhin in Sicherheitshaft und ist somit nach <ref-law> zur Beschwerde befugt. Er ist zudem innert Frist (vgl. <ref-law>) an das Bundesgericht gelangt. Die Rüge- und Begründungsanforderungen (vgl. dazu nachfolgend E. 2) stehen einem Eintreten nicht gänzlich entgegen. Auf die Beschwerde kann im Grundsatz eingetreten werden.
2.
Mit der Beschwerde in Strafsachen kann insbesondere die Verletzung von Bundesrecht und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, welche die beschwerdeführende Partei geltend macht und begründet, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (vgl. <ref-law>; <ref-ruling> E. 2). Erhöhte Anforderungen an die Begründung gelten namentlich, soweit die Verletzung von Grundrechten gerügt wird (vgl. <ref-law>; <ref-ruling> E. 1.4; <ref-ruling> E. 1.7.2; <ref-ruling> E. 2.2). Das Bundesgericht legt seinem Urteil weiter den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig, das heisst willkürlich (vgl. dazu <ref-ruling> E. 4.1.2), ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht. Erforderlich ist zudem, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Eine entsprechende Rüge ist substanziiert vorzubringen (vgl. Art. 42 Abs. 2 i.V.m. <ref-law>; <ref-ruling> E. 1.3.1; 264 E. 2.3).
3.
Gemäss <ref-law> ist Sicherheitshaft namentlich zulässig, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig (allgemeiner Haftgrund) und ernsthaft zu befürchten ist, sie entziehe sich durch Flucht dem Strafverfahren oder der zu erwartenden Sanktion (lit. a; besonderer Haftgrund der Fluchtgefahr). Anstelle der Haft sind eine oder mehrere mildere Massnahmen anzuordnen, wenn diese den gleichen Zweck erfüllen (<ref-law>). Auch sonst muss die Haft verhältnismässig sein.
Der Beschwerdeführer bestreitet weder den dringenden Tatverdacht bezüglich der ihm vorgeworfenen Delikte (versuchter Diebstahl, Sachbeschädigung, Hausfriedensbruch) noch das Bestehen von Fluchtgefahr. Ebenso wenig bringt er vor, es kämen Ersatzmassnahmen in Betracht. Er rügt jedoch, die Verlängerung der strafprozessualen Haft um drei Monate durch die strittige Haftanordnung sei unverhältnismässig (vgl. hinten E. 5). Zudem macht er geltend, die Vorinstanz habe ihre gegenteilige Auffassung nicht begründet und damit auch seinen Anspruch auf rechtliches Gehör verletzt (vgl. nachfolgend E. 4).
4.
4.1. Die Vorinstanz hat im angefochtenen Beschluss ausgeführt, die Hauptverhandlung vor dem Richteramt Olten-Gösgen sei auf den 2. Februar 2022 angesetzt. Bis zu diesem Zeitpunkt wäre der Beschwerdeführer knapp fünf Monate in strafprozessualer Haft. Dies sei nicht unverhältnismässig lang und es drohe keine Überhaft. Ob die Strafe bedingt oder unbedingt ausgesprochen werde, sei dabei unerheblich. Bei der Prüfung der zulässigen Haftdauer sei grundsätzlich nicht zu berücksichtigen, dass die in Aussicht stehende Freiheitsstrafe bedingt ausgesprochen werden könne. Festzuhalten sei aber, dass aufgrund der Aktenlage erhebliche Anhaltspunkte bestünden, die für eine unbedingte Strafe sprächen (einschlägige Vorstrafen).
4.2. Die Vorinstanz hat somit nicht ausdrücklich erklärt, wieso sie die Haftdauer von insgesamt knapp fünf Monaten, die sich durch die strittige Anordnung der Sicherheitshaft ergäbe, nicht für unverhältnismässig lang hält und ihrer Ansicht nach keine Überhaft droht. Aus ihren Ausführungen geht indessen unter Berücksichtigung der weiteren Entscheidbegründung hervor, dass sie die fragliche Haftdauer in Bezug gesetzt hat zur Freiheitsstrafe von zehn Monaten, welche die Staatsanwaltschaft in der beim Richteramt Olten-Gösgen erhobenen Anklage beantragt hat. Zudem wird deutlich, dass sie aufgrund der vorliegenden Akten bzw. der konkreten Verhältnisse des Falls davon ausgegangen ist, bei einem Schuldspruch stehe im Wesentlichen eine Freiheitsstrafe in der erwähnten Höhe in Aussicht, wobei sie eine unbedingte Ausfällung dieser Strafe - wie sie die Staatsanwaltschaft beantragt hat - für wahrscheinlich (er) gehalten hat. Damit war für den Beschwerdeführer trotz der knappen Begründung des angefochtenen Entscheids ersichtlich, wieso die Vorinstanz die mit der strittigen Haftanordnung einhergehende Haftdauer von insgesamt knapp fünf Monaten als verhältnismässig beurteilt hat. Er konnte sich deshalb über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an das Bundesgericht weiterziehen. Die Vorinstanz hat daher weder ihre Begründungspflicht noch den Gehörsanspruch des Beschwerdeführers verletzt (<ref-ruling> E. 5.2).
5.
5.1. Gemäss <ref-law> und Art. 5 Ziff. 3 EMRK hat eine in strafprozessualer Haft gehaltene Person Anspruch darauf, innerhalb einer angemessenen Frist richterlich abgeurteilt oder während des Strafverfahrens aus der Haft entlassen zu werden. Eine übermässige Haftdauer stellt eine unverhältnismässige Beschränkung des Grundrechts auf persönliche Freiheit dar. Sie liegt vor, wenn die Haftfrist die mutmassliche Dauer der zu erwartenden freiheitsentziehenden Sanktion übersteigt (vgl. auch <ref-law>). Bei der Prüfung der Verhältnismässigkeit der Haftdauer ist namentlich der Schwere der fraglichen Straftaten Rechnung zu tragen. Das Gericht darf die Haft nur so lange erstrecken, als sie nicht in grosse zeitliche Nähe der zu erwartenden Dauer der freiheitsentziehenden Sanktion rückt (<ref-ruling> E. 3.1; <ref-ruling> E. 5.1; <ref-ruling> E. 3.4.2). Dass die in Aussicht stehende Freiheitsstrafe bedingt oder teilbedingt ausgesprochen werden kann, ist grundsätzlich nicht zu berücksichtigen; dasselbe gilt für die Möglichkeit einer bedingten Entlassung aus dem Strafvollzug (<ref-ruling> E. 3.4; <ref-ruling> E. 5.1; 160 E. 4.2). Ob eine Haftdauer als übermässig bezeichnet werden muss, ist aufgrund der konkreten Verhältnisse des einzelnen Falls zu beurteilen (<ref-ruling> E. 3.5; <ref-ruling> E. 4.1 mit Hinweisen).
5.2. Der Beschwerdeführer bringt zwar grundsätzlich - und insoweit zutreffend - vor, die Dauer der gegen ihn angeordneten strafprozessualen Haft sei im vorstehend dargelegten Sinn zu prüfen. Er legt indessen nicht dar, inwiefern die Haftdauer von insgesamt knapp fünf Monaten, die sich durch die strittige Haftanordnung ergäbe, gestützt auf eine derartige Prüfung als übermässig bzw. unverhältnismässig zu beurteilen wäre. Vielmehr beschränkt er sich im Wesentlichen darauf, die Verlängerung der Haft um drei Monate als unverhältnismässig zu rügen, ohne dies weiter zu begründen. Aus seinen Vorbringen ergibt sich daher nicht, dass die erwähnte vorinstanzliche Beurteilung der Haftdauer gegen die vorstehend dargelegten Grundsätze verstossen würde bzw. bundes- oder EMRK-widrig wäre. Insbesondere geht daraus nicht hervor, dass die Vorinstanz angesichts der vorliegenden Akten bzw. der konkreten Verhältnisse des Falls im Rahmen der Haftprüfung nicht im Wesentlichen von einer in Aussicht stehenden Freiheitsstrafe in der von der Staatsanwaltschaft beantragten Höhe hätte ausgehen dürfen. Solches ist auch sonst nicht ersichtlich. Namentlich sind verschiedene, allerdings weiter zurückliegende einschlägige Vorstrafen des Beschwerdeführers in Deutschland belegt und deuten bei den Akten liegende Dokumente auf aktuelle (re) und jedenfalls teilweise einschlägige Vorstrafen des Beschwerdeführers in seinem Heimatland Bosnien und Herzegowina hin. Zumindest ein Teil dieser Vorstrafen dürfte bei einem Schuldspruch bei der Strafzumessung zu berücksichtigen sein (<ref-ruling> E. 2; Urteile 6B_258/2015 vom 26. Oktober 2015 E. 1.2.1, 1B_88/2015 vom 7. April 2015 E. 2.2.1 [betreffend <ref-law>). Weder aus den Vorbringen des Beschwerdeführers noch sonst ergibt sich weiter, dass die Vorinstanz nicht darauf hätten schliessen dürfen, die Haftdauer von insgesamt knapp fünf Monaten, die sich durch die strittige Haftanordnung ergäbe, begründe angesichts der im Wesentlichen zu erwartenden Freiheitsstrafe von zehn Monaten unter den gegebenen Umständen keine Überhaft und sei verhältnismässig. Daran ändert auch nichts, dass eine entsprechende Freiheitsstrafe bedingt ausgesprochen werden kann. Für die Vorinstanz bestand kein Anlass, diese Möglichkeit bei der Prüfung der Zulässigkeit der Haftdauer ausnahmsweise zu berücksichtigen. Soweit die Beschwerde hinsichtlich der Frage der Überhaft bzw. der Verhältnismässigkeit der Haftdauer überhaupt den Begründungsanforderungen genügt, erweist sie sich somit ebenfalls als unbegründet.
6.
Demnach ist die Beschwerde abzuweisen.
Bei diesem Ausgang des Verfahrens würde der Beschwerdeführer an sich kostenpflichtig (<ref-law>). Er stellt indessen ein Gesuch um unentgeltliche Rechtspflege. Da die Voraussetzungen für deren Gewährung erfüllt scheinen (<ref-law>), ist dem Gesuch stattzugeben.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch des Beschwerdeführers um unentgeltliche Prozessführung wird gutgeheissen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Solothurn, dem Obergericht des Kantons Solothurn, Beschwerdekammer, und B._ schriftlich mitgeteilt.
Lausanne, 10. Januar 2022
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Baur