Sachverhalt:
A.
Der 1985 geborene A._ erlitt im März 2007 eine Schussverletzung am Kopf, wobei er sein rechtes Auge verlor. Daraufhin meldete er sich am 26. September 2008 bei der Invalidenversicherung zum Leistungsbezug an. Nachdem A._ an Eingliederungsmassnahmen der IV-Stelle Schaffhausen teilgenommen hatte, und stationär psychiatrisch behandelt worden war, absolvierte er ein Praktikum als Logistiker bei B._, wo er im Anschluss ab 1. Januar 2015 eine Anstellung in einem Pensum von 50 % erhielt. Dieses Arbeitsverhältnis kündigte er nach wenigen Monaten.
Mit Vorbescheid vom 10. Februar 2016 stellte die Verwaltung für verschiedene Zeiträume zwischen dem 1. März 2008 und dem 31. Dezember 2014 den Anspruch auf eine ganze Invalidenrente und ab 1. Januar 2015 auf eine Viertelsrente in Aussicht. Dagegen erhob A._ am 11. März 2016 Einwand, woraufhin die IV-Stelle eine polydisziplinäre Begutachtung bei der Medizinischen Abklärungsstelle (MEDAS) Bern ZVMB GmbH veranlasste (Expertise vom 8. März 2017).
Mit neuem Vorbescheid vom 8. November 2018 teilte die IV-Stelle A._ unter anderem mit, dass ab dem 1. Januar 2015 kein Anspruch mehr auf eine Invalidenrente bestehe. Auf dessen Einwand hin gab die IV-Stelle bei Dr. med. C._, Facharzt für Psychiatrie und Psychotherapie, ein Gutachten in Auftrag. Dieses datiert vom 19. September 2019. Mit einem weiteren Vorbescheid vom 14. November 2019 kündigte die IV-Stelle an, nebst den für beschränkte Zeiträume bestehenden Rentenansprüchen sei A._ ausserdem eine halbe Invalidenrente ab 1. Januar 2015 zuzusprechen. Gleichentags machte ihn die Verwaltung auf seine Schadenminderungspflicht (Durchführung einer stationären fachpsychiatrischen Therapie, erneute Anmeldung beim Sozialamt) aufmerksam. Am 13. März 2020 verfügte die IV-Stelle entsprechend dem Vorbescheid.
B.
Die dagegen erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 22. Oktober 2021 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, der angefochtene Entscheid sei aufzuheben und die Sache sei zur ergänzenden Sachverhaltsabklärung, insbesondere zu den gesundheitlichen Ursachen der Stellenaufgabe bei B._ im Jahr 2015, und zu neuem Entscheid an die Vorinstanz zurückzuweisen. Für den Fall eines Sachentscheids des Bundesgerichts sei der vorinstanzliche Entscheid wie folgt abzuändern: "a. Die Verfügung des Sozialversicherungsamtes des Kantons Schaffhausen, IV-Stelle, vom 13. März 2020 betreffend Rentenleistung ab 1. Januar 2015 sei aufzuheben. b. Es sei die Beschwerdegegnerin zu verpflichten, dem Beschwerdeführer für die Zeit ab 1. Januar 2015 eine ganze IV-Rente zuzusprechen." Ferner ersucht A._ um unentgeltliche Rechtspflege.
Die IV-Stelle sowie die Vorinstanz schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen lässt sich nicht vernehmen.
A._ reicht eine weitere Eingabe vom 3. Februar 2022 ein.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.2. Die Rüge des fehlerhaft festgestellten Sachverhalts bedarf einer qualifizierten Begründung (<ref-ruling> E. 5.1). Es reicht nicht aus, in allgemeiner Form Kritik daran zu üben oder einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern. Die Rüge und ihre qualifizierte Begründung müssen in der Beschwerdeschrift selber enthalten sein. Der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten genügt nicht (Urteil 9C_779/2010 vom 30. September 2011 E. 1.1.2 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: SVR 2012 BVG Nr. 11 S. 44). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid geht das Bundesgericht nicht ein (<ref-ruling> E. 2.2). Nach dem Gesagten ist die Beschwerde allein unter Berücksichtigung der in dieser selbst enthaltenen Ausführungen zu beurteilen.
2.
Streitig und zu prüfen ist, ob die Vorinstanz zu Recht den von der IV-Stelle am 13. März 2020 verfügten Anspruch auf eine bloss halbe Invalidenrente ab dem 1. Januar 2015 bestätigt hat.
3.
3.1. Am 1. Januar 2022 trat das revidierte Bundesgesetz über die Invalidenversicherung (IVG; SR 831.20) in Kraft (Weiterentwicklung der IV [WEIV]; Änderung vom 19. Juni 2020, AS 2021 705, BBl 2017 2535).
Die dem hier angefochtenen Entscheid zugrunde liegende Verfügung erging vor dem 1. Januar 2022. Nach den allgemeinen Grundsätzen des intertemporalen Rechts und des zeitlich massgebenden Sachverhalts (statt vieler: <ref-ruling> E. 4.3.1; <ref-ruling> E. 1 mit Hinweisen) sind daher die Bestimmungen des IVG und diejenigen der Verordnung über die Invalidenversicherung (IVV; SR 831.201) in der bis 31. Dezember 2021 gültig gewesenen Fassung anwendbar.
3.2. Das kantonale Gericht hat die massgeblichen Rechtsgrundlagen zur Erwerbsunfähigkeit (<ref-law>), zur Invalidität (<ref-law> in Verbindung mit <ref-law>), zum Rentenanspruch (<ref-law>) sowie zur Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> und <ref-law>) zutreffend dargelegt. Darauf wird verwiesen.
4.
4.1. Es ist letztinstanzlich unbestritten geblieben, dass der Beschwerdeführer gestützt auf das Gutachten des Dr. med. C._ vom 19. September 2019 in seinem angestammten Beruf als Polybauer aufgrund seiner Einäugigkeit 100 % arbeitsunfähig ist. Einer angepassten Tätigkeit kann er hingegen (medizinisch-theoretisch) in einem Pensum von 50 % nachgehen.
4.2.
4.2.1. Die Vorinstanz hat erkannt, dass der Beschwerdeführer gemäss Dr. med. C._ nach der Aufgabe seiner Anstellung bei der B._ nicht mehr gearbeitet habe. Laut dem Psychiater sei es zu einer (nicht näher spezifizierten) Dekonditionierung und vor allem in den letzten dreieinhalb Jahren zu einer ausgeprägten negativistischen Weltsicht gekommen, so dass die noch vorhandene Arbeitsfähigkeit von 50 % erst wieder durch ein Aufbau- und Arbeitstraining aktiviert werden müsse. Das kantonale Gericht hat die Umstände rund um die Beendigung des Arbeitsverhältnisses bei der B._ gewürdigt. Es ist zum Schluss gekommen, es lägen keine Anhaltspunkte dafür vor, dass die Aufgabe der Arbeitsstelle auf eine Verschlechterung des Gesundheitszustands des Beschwerdeführers zurückginge. Weshalb dieser seine Arbeit bei der B._ nicht mehr habe weiterführen können, sei nicht nachvollziehbar. Ebenfalls erscheine es zumutbar, dass sich der Beschwerdeführer nach erfolgter (freiwilliger) Kündigung um eine neue angepasste Stelle hätte bemühen können. Für die Beurteilung einer Erwerbsunfähigkeit seien ausschliesslich die Folgen der gesundheitlichen Beeinträchtigung zu berücksichtigen. Eine Dekonditionierung (aufgrund von Arbeitslosigkeit) stelle keinen invalidisierenden Gesundheitsschaden bzw. kein von der Invalidenversicherung versichertes Risiko dar. Dies bedeute, dass die überwiegend wahrscheinlich nicht gesundheitsbedingte Dekonditionierung im Nachgang zur Aufgabe der Arbeitsstelle bei der B._ für die Ermittlung der Erwerbsunfähigkeit aus invalidenversicherungsrechtlicher Sicht unbeachtlich bleibe. Weiter hat das kantonale Gericht das Vorliegen von anderen Gründen nebst der Dekonditionierung, die gegen eine direkte Verwertbarkeit der Restarbeitsfähigkeit sprechen, verneint und die Zumutbarkeit der Selbsteingliederung sowie die Verwertbarkeit der Restarbeitsfähigkeit von 50 % bejaht.
4.2.2. Der Beschwerdeführer bringt dagegen vor, die Vorinstanz habe das rechtliche Gehör im Sinne von <ref-law> sowie Art. 6 Ziff. 1 EMRK und den Untersuchungsgrundsatz gemäss Art. 43 Abs. 1 und Art. 61 lit. c ATSG verletzt, indem sie keinerlei Beweise abgenommen habe über die Umstände, die Anfang 2015 zum Stellenverlust und letztlich zur Dekonditionierung geführt hätten. Dadurch habe sie den Sachverhalt offensichtlich willkürlich abgeklärt.
5.
5.1. Der Beschwerdeführer zweifelt die vorinstanzliche Schlussfolgerung an, wonach er seine Arbeitsstelle bei der B._ im 50 %-Pensum freiwillig aufgegeben habe und es somit durch sein Verschulden zu einer Dekonditionierung gekommen sei. Soweit er dabei auf seine gesundheitlichen Beschwerden im Zusammenhang mit dem Verlust seines rechten Auges hinweist, kann er daraus nichts zu seinen Gunsten ableiten. Dass er damals und bis heute unter verschiedenen Einschränkungen leidet, die ihn beeinträchtigen, steht ausser Frage (vgl. E. 4.1 oben). Es ist dazu auch auf die Stellungnahme der Vorinstanz vom 23. Dezember 2021 zu verweisen, wonach die vom Beschwerdeführer geklagten Einschränkungen in das Gutachten des Dr. med. C._ vom 19. September 2019 eingeflossen seien und bei der attestierten Arbeitsfähigkeit von 50 % Berücksichtigung gefunden hätten. Es geht vielmehr darum, dass das kantonale Gericht nach umfassender Würdigung der Akten nicht willkürlich festgestellt hat, diese gesundheitlichen Limitierungen seien eben nicht Ursache für die von Dr. med. C._ berichtete Dekonditionierung.
5.2. Unbehelflich ist in diesem Zusammenhang auch die Rüge, das kantonale Gericht wie auch die IV-Stelle hätten weitere Abklärungen zur Arbeitsaufgabe im Jahr 2015 sowie zum damaligen Gesundheitszustand tätigen müssen. Der Beschwerdeführer ist umfassend begutachtet worden, wobei sich Dr. med. C._ namentlich zur Kündigung und zum Gesundheitszustand in diesem Zeitraum geäussert hat. Ausserdem ist der Gutachter auf die vom Beschwerdeführer angerufenen Stellungnahmen der behandelnden Ärzte Dres. med. D._ und E._, beides Fachärzte für Psychiatrie und Psychotherapie, eingegangen. Von einer Verletzung des rechtlichen Gehörs oder des Untersuchungsgrundsatzes durch das kantonale Gericht kann mithin keine Rede sein. In diesem Sinne besteht auch kein Anlass für eine Rückweisung an die Vorinstanz zu weiteren Abklärungen.
5.3. Das kantonale Gericht hat zu Recht darauf hingewiesen, dass eine Dekonditionierung (aufgrund von Arbeitslosigkeit) keinen invalidisierenden Gesundheitsschaden im Sinne von <ref-law> und <ref-law> darstellt (Urteil 9C_755/2020 vom 8. März 2021 E. 5.1). Von der versicherungsrechtlich unbeachtlichen Dekonditionierung abzugrenzen ist die Frage, ob eine medizinisch-theoretische Arbeitsfähigkeit tatsächlich ohne Weiteres umsetzbar ist (bereits erwähntes Urteil 9C_755/2020 E. 5.2 mit Hinweisen). Die Vorinstanz hat erkannt, dass andere Gründe als die Dekonditionierung, die gegen eine direkte Verwertbarkeit der Restarbeitsfähigkeit sprechen würden, nicht ersichtlich seien. Diese Feststellung bestreitet der Beschwerdeführer nicht, weshalb sie für das Bundesgericht verbindlich ist (E. 1 oben). Unter diesen Umständen hat das kantonale Gericht kein Bundesrecht verletzt, indem es die Zumutbarkeit einer Selbsteingliederung sowie die Verwertbarkeit der Restarbeitsfähigkeit von 50 % bejaht hat.
6.
Die vorinstanzliche Invaliditätsbemessung (Invaliditätsgrad: maximal 59 %) zweifelt der Beschwerdeführer nicht an. Da keine Anhaltspunkte für diesbezügliche offenkundige rechtliche Mängel ersichtlich sind, erübrigen sich Weiterungen dazu (E. 1 oben).
7.
Zusammengefasst ist der angefochtene Entscheid bundesrechtskonform. Die Beschwerde ist unbegründet.
8.
Dem Ausgang des Verfahrens entsprechend hat grundsätzlich der Beschwerdeführer die Gerichtskosten zu bezahlen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege (<ref-law>; <ref-ruling> E. 4a) kann jedoch entsprochen werden. Es wird indes ausdrücklich auf <ref-law> hingewiesen, wonach er der Bundesgerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Christoph Storrer als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. März 2022
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Wirthlin
Die Gerichtsschreiberin: Huber