Sachverhalt:
A.
X._ und Y._ haben am 4. Mai 2012 geheiratet. Sie sind Eltern der Söhne A._ (geb. 2012) und B._ (geb. 2013).
B.
Am 3. April 2013 stellte Y._ beim Richteramt Olten-Gösgen ein Eheschutzgesuch. Mit Urteil vom 17. Oktober 2013 hob die Amtsgerichtspräsidentin den gemeinsamen Haushalt für unbestimmte Zeit auf. Sie stellte fest, dass der Ehemann die gemeinsame Wohnung per 1. April 2013 verlassen hat und regelte das Getrenntleben. Soweit vor Bundesgericht noch relevant, bestimmte sie Kinderunterhaltsbeiträge an A._ von Fr. 750.-- von 1. April 2013 bis 4. Juli 2013 sowie an A._ und B._ ab 5. Juli 2013 von je Fr. 600.--, zuzüglich allfälliger Kinderzulagen. Zudem verurteilte sie X._, seiner Ehefrau rückwirkend ab 1. April 2013 einen monatlichen Unterhaltsbeitrag von Fr. 830.-- und ab 5. Juli 2013 von Fr. 380.-- zu bezahlen.
C.
Gegen den Entscheid des Richteramts Olten-Gösgen legte X._ mit Eingabe vom 31. Oktober 2013 Berufung beim Obergericht des Kantons Solothurn ein. Er beantragte insbesondere, von der Zusprechung von Unterhaltsbeiträgen abzusehen. Mit Urteil vom 14. Januar 2014 wies das Obergericht die Berufung ab.
D.
Mit Beschwerde in Zivilsachen vom 17. Februar 2014 gelangt X._ (Beschwerdeführer) an das Bundesgericht. Er erneuert seinen vor Obergericht gestellten Antrag auf Abweisung der Unterhaltsbegehren und ersucht für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege.
Das Bundesgericht hat die kantonalen Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Entscheid (<ref-law>) über die Anordnung von Massnahmen zum Schutz der ehelichen Gemeinschaft (<ref-law>). Dabei handelt es sich um einen Endentscheid in Zivilsachen (Art. 90 und Art. 72 Abs. 1 BGG; <ref-ruling> E. 2-4 S. 395 f.). Einzig umstritten ist die Regelung des Kinder- und Ehegattenunterhalts und damit eine vermögensrechtliche Angelegenheit, wobei die gesetzliche Streitwertgrenze erreicht ist (<ref-law>). Die im Übrigen fristgerecht (<ref-law>) eingereichte Beschwerde in Zivilsachen ist grundsätzlich zulässig.
1.2. Eheschutzentscheide sind Entscheide über vorsorgliche Massnahmen im Sinne von <ref-law> (<ref-ruling> E. 5.2 S. 397). Demnach kann nur die Verletzung verfassungsmässiger Rechte gerügt werden (s. dazu <ref-ruling> E. 4.1 S. 588). Hierfür gilt das strenge Rügeprinzip (<ref-law>). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und, soweit möglich, belegte Rügen prüft. Auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 3.1 S. 399 f.). Wird die Verletzung des Willkürverbots gerügt, reicht es daher nicht aus, wenn der Beschwerdeführer die Rechtslage aus seiner Sicht darlegt und den davon abweichenden angefochtenen Entscheid als willkürlich bezeichnet. Vielmehr muss er im Einzelnen darlegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246). Diese Grundsätze gelten insbesondere auch für die Rüge der Willkür in der Sachverhaltsfeststellung (<ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398).
1.3. Der vorinstanzlich festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (<ref-law>). Es ist nicht Aufgabe des Bundesgerichts, Beweise abzunehmen und Tatsachen festzustellen, über die sich das kantonale Sachgericht nicht ausgesprochen hat (<ref-ruling> E. 6.1 S. 214). Mit der Beschwerde in Zivilsachen darf der Beschwerdeführer keine neuen Tatsachen und Beweismittel vorbringen, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (<ref-law>). Neu sind Tatsachen, die weder im vorangegangenen Verfahren vorgebracht noch von der Vorinstanz festgestellt wurden (<ref-ruling> E. 3.3.1 S. 364 f.; <ref-ruling> E. 4.4.3 S. 128 f.). In der Beschwerde ist darzutun, inwiefern die Voraussetzung für die nachträglichen Vorbringen erfüllt sein soll (<ref-ruling> E. 3 S. 395).
2.
Der Beschwerdeführer rügt zunächst die Nichtberücksichtigung des geltend gemachten Bedarfs an einer zweiten auswärtigen Verpflegung in der Abendzeit als willkürlich.
2.1. Die kantonalen Richtlinien für die Berechnung des betreibungsrechtlichen Existenzminimums (Notbedarf) nach <ref-law> vom 21. August 2009 (nachfolgend: betreibungsrechtliche Richtlinien) - die in diesem Punkt den gleichnamigen Richtlinien der Konferenz der Betreibungs- und Konkursbeamten der Schweiz vom 1. Juli 2009 (BlSchK 2009 S. 193 ff.) entsprechen - sehen vor, dass bei Nachweis von Mehrauslagen für auswärtige Verpflegung für jede Hauptmahlzeit Fr. 9.-- bis Fr. 11.-- berücksichtigt werden.
2.2. Das Obergericht hat im Bedarf des Beschwerdeführers Fr. 11.-- pro Arbeitstag für auswärtige Verpflegung eingesetzt. Das Richteramt, dessen Ausführungen das Obergericht wiedergegeben hat, hat dazu ausgeführt, der Beschwerdeführer habe trotz langem Arbeitsweg übliche Arbeitszeiten. Ihm sei zuzumuten, das Nachtessen zu Hause einzunehmen und/oder Zwischenverpflegungen mitzunehmen. Da der finanzielle Spielraum sehr eng sei, sei ihm diese Einschränkung zuzumuten. Das Obergericht hat beanstandet, die kantonale Berufung genüge den Begründungsanforderungen (<ref-law>) nicht, da sich der Beschwerdeführer weder mit der Argumentation der Amtsgerichtspräsidentin auseinandergesetzt, noch Mehrauslagen für eine auswärtige Verpflegung nachgewiesen habe. Die Bemerkung des Beschwerdeführers, die Wohnkosten seien sehr tief, wodurch die zusätzlichen Verpflegungskosten aufgewogen würden, sei unbehelflich. Die Positionen einer Bedarfsrechnung seien einzeln zu ermitteln, weshalb es nicht gerechtfertigt sei, aufgrund tiefer Kosten bei einer Position nicht ausgewiesene hohe Kosten bei einer anderen Position zu berücksichtigen.
2.3. Der Beschwerdeführer hält dem entgegen, Mehrkosten für auswärtige Verpflegung seien auch dann zuzusprechen, wenn diese im Einzelnen in der Höhe nicht nachgewiesen seien. Die Höhe der zusätzlichen Kosten für das Abendessen könne, ebenso wie die Kosten für das Mittagessen, von den betreibungsrechtlichen Richtlinien abgeleitet werden, welche einen Wert zwischen Fr. 9.-- und Fr. 11.-- pro Mahlzeit vorsehen würden. Sodann beanstandet der Beschwerdeführer die Auffassung der Vorinstanz, er sei im Rahmen der Berufung verpflichtet gewesen, sich mit den Argumenten des Richteramts auseinanderzusetzen. <ref-law> verlange einzig eine Begründung der gestellten Begehren und nicht weitergehende Auseinandersetzungen. Er habe bereits vor erster Instanz geltend gemacht, dass er einen langen Arbeitsweg habe, weshalb er nach der Arbeit erst gegen 21 Uhr nach Hause komme. Entgegen der Auffassung der Vorinstanz sei es ihm nicht zuzumuten, zu dieser Uhrzeit noch einzukaufen und zu kochen. Der Bedarf nach einer zusätzlichen auswärtigen Verpflegung in der Abendzeit sei ausgewiesen und daher zu berücksichtigen.
2.4. Der Beschwerdeführer hat im vorinstanzlichen Verfahren nicht nachgewiesen, dass er tatsächlich - zusätzlich zu den von der Vorinstanz angerechneten auswärtigen Mittagessen - auch am Abend regelmässig auswärtige Mahlzeiten einnimmt. Unter Willkürgesichtspunkten ist daher nicht zu beanstanden, dass das Obergericht die behaupteten Mehrausgaben für eine zweite auswärtige Hauptmahlzeit nicht berücksichtigt hat. Bereits deshalb ist diese Rüge unbehelflich. Begründen im Sinne von <ref-law> bedeutet gemäss der bundesgerichtlichen Rechtsprechung sodann, dass aufzuzeigen ist, inwiefern der angefochtene Entscheid als fehlerhaft erachtet wird. Dieser Anforderung genügt der Berufungskläger nicht, wenn er lediglich auf die vor der ersten Instanz vorgetragenen Vorbringen verweist, sich mit Hinweisen auf frühere Prozesshandlungen zufrieden gibt oder den angefochtenen Entscheid in allgemeiner Weise kritisiert. Die Begründung muss hinreichend genau und eindeutig sein, um von der Berufungsinstanz mühelos verstanden werden zu können. Dies setzt voraus, dass der Berufungskläger im Einzelnen die vorinstanzlichen Erwägungen bezeichnet, die er anficht, und die Aktenstücke nennt, auf denen seine Kritik beruht (<ref-ruling> E. 4.3.1 S. 375; Urteil 5A_438/2012 vom 27. August 2012 E. 2.2, in: SZZP 2013 S. 29 f.). Die Rüge des Beschwerdeführers, das Obergericht habe in willkürlicher Weise die Anforderungen an die Berufungsbegründung überspannt, geht somit fehl. Auch vor Bundesgericht setzt sich der Beschwerdeführer nicht hinreichend mit den Erwägungen der Vorinstanz auseinander, indem er im Wesentlichen die bereits vor erster Instanz vorgetragenen Vorbringen wiederholt. Damit vermag seine Rüge den Begründungsanforderungen von <ref-law> nicht zu genügen, geschweige denn eine willkürliche Anwendung des Rechts durch das Obergericht aufzuzeigen (vgl. vorstehend E. 1.2).
3.
Anlass zur Beschwerde geben im Weiteren Schulden, die das Obergericht im monatlichen Bedarf des Beschwerdeführers nicht berücksichtigt hat. Der Beschwerdeführer macht geltend, die Rückzahlung der Schulden resultiere aus gemeinschaftlichen Ausgaben während des familiären Zusammenlebens.
3.1. Nach der Rechtsprechung, die der Beschwerdeführer zutreffend wiedergibt, kann als allgemein anerkannt gelten, dass persönliche, nur einen der Ehegatten treffende Schulden gegenüber Dritten - auch gegenüber dem Fiskus - der familienrechtlichen Unterhaltspflicht nachgehen und nicht zum Existenzminimum gehören, sondern nach Ermessen des Sachgerichts im Rahmen einer allfälligen Überschussaufteilung zu berücksichtigen sind (vgl. <ref-ruling> E. 2a/bb S. 292 mit Hinweisen). Zum Bedarf hinzuzurechnen sind somit grundsätzlich nur diejenigen regelmässig abbezahlten Schulden, die die Ehegatten für den gemeinsamen Lebensunterhalt aufgenommen hatten (Urteil 5A_452/2010 vom 23. August 2010 E. 3.2, in: FamPra.ch 2011 S. 169; 5A_131/2007 vom 8. Juni 2007 E. 2.2).
3.2. Das Obergericht hat festgestellt, dass sich die Ehegatten am 4. Mai 2012 verheiratet haben. Es hat dazu ausgeführt, der Beschwerdeführer bezeichne offene Forderungen als während der Ehe eingegangene Schulden für den gemeinsamen Haushalt, obwohl die Verpflichtung vor Eheschluss eingegangen worden sei. Weiter gehe aus den Belegen nicht hervor, was der Rechtsgrund der Verpflichtung sei. Im Übrigen habe der Beschwerdeführer in seiner Eingabe vom 27. September 2013 in seiner Bedarfsberechnung keinen konkreten Betrag für die Schuldentilgung eingesetzt. Er habe lediglich pauschal ausgeführt, aus der Lohnpfändung ergebe sich, dass er nicht leistungsfähig sei. Indem die Vorderrichterin die Lohnpfändung nicht berücksichtigt habe, habe sie daher weder das Recht unrichtig angewandt noch den Sachverhalt unrichtig festgestellt.
3.3. Der Beschwerdeführer wirft dem Obergericht in diesem Zusammenhang vor, es habe willkürlich unterlassen, den relevanten Sachverhalt zu ermitteln. Da ein grosser Teil der Unterhaltsbeiträge Kinderunterhalt darstelle und dieser der Offizialmaxime unterliege, habe die Vorinstanz die Pflicht gehabt, die fehlenden Umstände bzw. Grundlagen selbst zu ermitteln. Die Kreditverträge mit C._ seien nach Begründung des gemeinsamen Haushalts im August 2011 eingegangen worden. Es sei evident, dass die Kredite, welche der Beschwerdeführer abzubezahlen habe, für die familiären Interessen beider Parteien eingegangen worden seien. Zudem habe er im erstinstanzlichen Verfahren eine Aufstellung über Ausstände in der obligatorischen Krankenversicherung eingereicht. Auch diese unterstünden der Lohnpfändung und seien praktisch allesamt nach der Eheschliessung entstanden.
3.4. Nach <ref-law> gelten in Bezug auf den Kinderunterhalt die Offizialmaxime und der Untersuchungsgrundsatz. Ehegatten- und Kindesunterhaltsbeiträge bilden aus Sicht der finanziellen Leistungsfähigkeit des Schuldners ein Ganzes, so dass sich die Untersuchungsmaxime (<ref-law>) auch auf die Tatsachengrundlage für die Bestimmung des Ehegattenunterhalts auswirkt (Urteil 5P.225/2005 vom 4. August 2005 E. 2.3). Der Beschwerdeführer ist indes bei der Feststellung des Sachverhalts zur Mitwirkung (<ref-ruling> E. 3.2.1 S. 413) verpflichtet und zur loyalen Prozessführung angehalten (Urteil 5A_285/2013 vom 24. Juli 2013 E. 4.3). Faktisch begrenzt wird die Untersuchungsmaxime überdies durch die Pflicht der Parteien, ihre Eingaben zu begründen (Urteil 5C.112/2001 vom 30. August 2001, E. 2c/aa).
3.5. Der Beschwerdeführer begründet nicht hinreichend, inwieweit die der bestehenden Einkommenspfändung zu Grunde liegenden Schulden für den gemeinsamen Unterhalt der Ehegatten aufgenommen worden sind. Seine Erklärungen sind pauschal, unbelegt und weitgehend appellatorischer Natur. Es ist daher nicht willkürlich, wenn das Obergericht die Einkommenspfändung im Bedarf des Beschwerdeführers nicht berücksichtigt hat (vgl. Urteil 5A_767/2011 vom 1. Juni 2012 E. 6.2.2). Dies gilt insbesondere auch für die vom Beschwerdeführer geltend gemachten privaten Schulden bei C._ in Höhe von Fr. 5'500.--. Falsch ist in diesem Zusammenhang der Vorwurf des Beschwerdeführers, die Vorinstanz habe das Heiratsdatum nicht festgestellt, geht es doch aus den Erwägungen im angefochtenen Entscheid explizit hervor (siehe E. 3.2). Den Zeitpunkt der Begründung des gemeinsamen Haushalts erwähnt der Beschwerdeführer erstmals im bundesgerichtlichen Verfahren. Das Novum ist verspätet und damit unzulässig (dazu E. 1.3). Allein indem der Beschwerdeführer die Zweckbestimmung für familiäre Interessen beider Parteien als evident bezeichnet, vermag er im Übrigen keine willkürliche Beweiswürdigung des Obergerichts darzutun. Mit der vorinstanzlichen Erwägung, er habe nicht substanziiert, in welchem Umfang monatliche Abzahlungsraten angerechnet werden müssten, setzt sich der Beschwerdeführer nicht auseinander. So belegt der Beschwerdeführer auch nicht, dass und gegebenenfalls in welchem Umfang er aufgrund der geltend gemachten Krankenkassenschulden regelmässig Abzahlungsraten leistet. Trotz Geltung der Untersuchungsmaxime kann es deshalb nicht als willkürlich angesehen werden, dass das Obergericht die Krankenkassenausstände im Bedarf des Beschwerdeführers nicht berücksichtigt hat.
3.6. Die Willkürrügen erweisen sich insgesamt als unberechtigt. Der Beschwerdeführer hat die Folgen davon zu tragen, dass er im Rahmen seiner Mitwirkungspflicht seine wirtschaftlichen Verhältnisse hinsichtlich der geltend gemachten Schulden nicht klar und widerspruchsfrei dargelegt und sich mit pauschalen Hinweisen auf Beilagen begnügt hat.
4.
Aus den dargelegten Gründen muss die Beschwerde abgewiesen werden, soweit darauf einzutreten ist. Der Beschwerdeführer hat für die Gerichtskosten aufzukommen (<ref-law>). Wie die vorstehenden Erwägungen aufzeigen, muss die Beschwerde als von Anfang an aussichtslos betrachtet werden. Damit fehlt es an einer materiellen Voraussetzung für die Bewilligung der unentgeltlichen Rechtspflege (<ref-law>). Das entsprechende Gesuch ist abzuweisen. Dass ihm im kantonalen Verfahren die unentgeltliche Rechtspflege gewährt wurde, ist dabei - entgegen der Ansicht des Beschwerdeführers - nicht entscheidend (<ref-ruling> E. 3a S. 393; Urteil 6B_588/2007 vom 11. April 2008 E. 6.2). Da keine Vernehmlassungen eingeholt worden und der Beschwerdegegnerin somit keine Kosten erwachsen sind, entfällt die Zusprechung einer Parteientschädigung.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um Gewährung der unentgeltlichen Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 28. April 2014
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Buss