Sachverhalt:
A.
Der 1963 geborene A._ meldete sich per 1. August 2018 zur Arbeitsvermittlung und zum Bezug von Arbeitslosenentschädigung im Umfang von 100 % an. Mit Verfügung vom 28. Februar 2020 stellte ihn das Arbeitsamt des Kantons Schaffhausen, Kantonale Amtsstelle, wegen Nichtannahme einer zumutbaren Arbeit ab 4. November 2019 für 35 Tage in der Anspruchsberechtigung ein. Daran hielt es mit Einspracheentscheid vom 28. September 2020 fest.
B.
Die hiegegen erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 29. Juni 2021 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, in Aufhebung des Entscheids des Obergerichts vom 29. Juni 2021 sei auf die Einstellung in der Anspruchsberechtigung vollständig zu verzichten.
Während der Beschwerdegegner und das Staatssekretariat für Wirtschaft (SECO) auf eine Vernehmlassung verzichten, nimmt die Vorinstanz mit Eingabe vom 2. September 2021 Stellung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 4.2).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; vgl. <ref-ruling> E. 1.2). "Offensichtlich unrichtig" bedeutet "willkürlich" (<ref-ruling> E. 2.2; zum Begriff der Willkür: <ref-ruling> E. 1.3.1). Eine entsprechende Rüge ist hinreichend zu substanziieren (<ref-law>; <ref-ruling> E. 4.2; <ref-ruling> E. 2.2). Dazu genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern. Dass die von der Vorinstanz gezogenen Schlüsse nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 4.4).
2.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzt hat, indem sie die Einstellung in der Anspruchsberechtigung wegen Nichtannahme einer zumutbaren Arbeit für die Dauer von 35 Tagen bestätigte.
Das kantonale Gericht hat die für die Beurteilung der Streitsache massgebenden Rechtsgrundlagen hinsichtlich Einstellung in der Anspruchsberechtigung infolge Nichtannahme einer zumutbaren Arbeit (Art. 17 Abs. 1 Satz 1 und Abs. 3 Satz 1 AVIG; <ref-law>) sowie der nach Massgabe des Verschuldens zu bemessenden (<ref-law>) Einstellungsdauer (Art. 45 Abs. 3 und 4 AVIV) zutreffend wiedergegeben. Richtig sind auch die Ausführungen zum im Verwaltungsverfahren und im kantonalen Sozialversicherungsprozess geltenden Untersuchungsgrundsatz (Art. 43 Abs. 1 und Art. 61 lit. c ATSG). Darauf wird verwiesen.
3.
Die Vorinstanz hat erkannt, der Beschwerdeführer habe durch die Nichtannahme einer zumutbaren Arbeit Kontrollvorschriften bzw. Weisungen der zuständigen Amsstelle nicht befolgt, weshalb er gestützt auf <ref-law> in der Anspruchsberechtigung einzustellen sei.
3.1. Mit dem am 23. Juli 2018 unterzeichneten Formular "Weitergabe der Daten einer stellensuchenden Person" habe sich der Beschwerdeführer - so das kantonale Gericht - damit einverstanden erklärt, dass seine Kontaktangaben, inklusive Bewerbungsunterlagen, von den Mitarbeitern der öffentlichen Arbeitsvermittlung an private Arbeitsvermittler oder potentielle Arbeitgeber im Rahmen der Unterstützung zur Stellensuche weitergegeben werden. Gestützt darauf sei der Lebenslauf des Beschwerdeführers am 21. Oktober 2019 der B._ AG zugestellt worden, die für das Restaurant C._ im Oktober 2019 per sofort einen Officemitarbeiter im Umfang von 100 % gesucht habe. Gemäss E-Mail der bereichsverantwortlichen Mitarbeitenden der B._ AG ans Regionale Arbeitsvermittlungszentrum (RAV) vom 1. November 2019 habe der Beschwerdeführer für den vorgeschlagenen Gesprächstermin vom 31. Oktober 2019, 13.30 Uhr, keine Zeit gehabt und auch an den drei Folgetagen sei es ihm nicht möglich gewesen, zu einem Gespräch zu kommen. Sie habe, da es mit ihm leider nicht passe, um weitere interessierte und motivierte Kandidaten gebeten; diese würden sofort geprüft, da sie dringend jemanden bräuchten. Mit E-Mail vom 20. November 2019 habe sich die Bereichsverantwortliche für die weiteren Kandidaten, die sie dem Geschäftsführer weitergeleitet habe, bedankt. Bezüglich des Beschwerdeführers habe sie festgehalten, er sei einmal zum Kaffeetrinken im Betrieb gewesen; an der Arbeit sei er jedoch nicht interessiert gewesen.
3.2. Die Vorinstanz hat daraufhin festgestellt, es sei aktenkundig und werde vom Beschwerdeführer anerkannt, dass er den Vorstellungstermin vom 31. Oktober 2019 ohne Angabe eines entschuldbaren Grundes abgelehnt habe. Auch wenn zu seinen Gunsten angenommen werde, dass seine Arbeitseinsätze im Zwischenverdienst am 1. und 2. November 2019 keine Vorstellung beim potentiellen Arbeitgeber zugelassen hätten, müsse davon ausgegangen werden, dass der Beschwerdeführer zumindest den alternativen Termin vom 3. November 2019 ebenfalls abgelehnt habe. Beim in Frage stehenden Stellenangebot habe es sich, so das kantonale Gericht, unbestrittenermassen um eine zumutbare Arbeit gehandelt. Selbst wenn dem Beschwerdeführer seitens des RAV Ferien ab 2. bis 20. Dezember 2019 bewilligt worden seien, habe ihn dies nicht davon befreit, vor Ferienantritt alles Zumutbare zur Beendigung der Arbeitslosigkeit zu unternehmen. Indem er sich nicht ernsthaft um ein Vorstellungsgespräch bemüht und beim potentiellen Arbeitgeber zumindest den Eindruck hinterlassen habe, er sei an der zugewiesenen Stelle nicht interessiert, habe er in Kauf genommen, dass die Stelle anderweitig besetzt werde. Solches Verhalten gelte gemäss Rechtsprechung als (verschuldete) Nichtannahme einer zugewiesenen zumutbaren Arbeit.
3.3. Die ausgesprochene Sanktion der Einstellung in der Anspruchsberechtigung von 35 Tagen entspreche - so die Vorinstanz - Art. 45 Abs. 3 lit. c und Abs. 4 lit. b AVIV. Es bestehe kein Grund, ins Ermessen der Verwaltung einzugreifen.
4.
4.1. Der Beschwerdeführer rügt zunächst in formeller Hinsicht eine Verletzung des Anspruchs auf rechtliches Gehör, weil ihm das Arbeitsamt die E-Mail vom 1. November 2019, die für die Beurteilung der Sache von wesentlicher Bedeutung sei, nicht zur Stellungnahme unterbreitet habe.
4.2. Mit dieser Rüge dringt der Beschwerdeführer nicht durch. Selbst wenn ihm die Kopie der E-Mail vom 1. November 2019 erst nach dem Einspracheentscheid vom 28. September 2020 zugestellt worden sein mochte, hatten sowohl die Verfügung vom 28. Februar 2020 wie auch der Einspracheentscheid vom 28. September 2020 unter Wiedergabe des Inhalts der E-Mail darauf Bezug genommen. Das Arbeitsamt gab klar zu erkennen, von welchen Überlegungen es sich leiten liess. Dazu nahm der Beschwerdeführer sowohl in der Einsprache wie auch in der Beschwerde ans kantonale Gericht Stellung. Eine sachgerechte Anfechtung war damit zweifellos möglich (vgl. statt vieler: <ref-ruling> E. 4.3.2 mit Hinweisen).
4.3. Selbst wenn sodann der Anspruch auf rechtliches Gehör mangels rechtsgenügender Akteneinsicht verletzt worden wäre, würde es sich um eine nicht besonders schwerwiegende Verletzung handeln, die geheilt worden wäre, nachdem sich der Beschwerdeführer vor einer Rechtsmittelinstanz äussern konnte, die sowohl die Tat- als auch die Rechtsfragen uneingeschränkt überprüfte (vgl. <ref-ruling> E. 2.8.1; <ref-ruling> E. 2.3.2; <ref-ruling> E. 2.6.1; je mit Hinweisen; Urteil 8C_305/2018 vom 23. Januar 2019 E. 2.1).
5.
5.1. In Würdigung der Akten hat die Vorinstanz, wie in E. 3 hiervor dargelegt, grundsätzlich verbindlich festgestellt, dass der Beschwerdeführer den Vorstellungstermin vom 31. Oktober 2019 ohne Angabe eines entschuldbaren Grundes abgelehnt hatte. Er habe sich sodann nicht ernsthaft um ein Vorstellungsgespräch bemüht und beim potentiellen Arbeitgeber zumindest den Eindruck hinterlassen, dass er an der zugewiesenen Stelle nicht interessiert sei. Damit habe er in Kauf genommen, dass die Stelle anderweitig besetzt werde, und durch sein Verhalten die Schadenminderungspflicht verletzt.
5.2. Was der Beschwerdeführer dagegen einwendet, vermag die Würdigung der konkreten Umstände und die überzeugende Begründung des kantonalen Gerichts nicht infrage zu stellen. Soweit seine Vorbringen überhaupt sachbezogen sind, erschöpfen sie sich im Wesentlichen in einer appellatorisch gehaltenen Wiedergabe der eigenen Sichtweise. Die Vorinstanz hat weder Recht verletzt noch den Sachverhalt offensichtlich unrichtig oder unvollständig festgestellt (vgl. E. 1 hiervor). Mit den bereits im kantonalen Verfahren erhobenen Einwendungen hat sie sich auseinandergesetzt und namentlich zutreffend dargelegt, dass der Beschwerdeführer nach wie vor keinen entschuldbaren Grund für die Verletzung der Schadenminderungspflicht angibt. Das kantonale Gericht hat daher in nicht zu beanstandender Weise erkannt, dass der Beschwerdeführer nach Lage der Akten zu Recht gestützt auf <ref-law> in der Anspruchsberechtigung eingestellt worden ist.
5.3. Die vorinstanzlich bestätigte Einstelldauer von 35 Tagen wird nicht gerügt und gibt keinen Anlass zu Weiterungen.
5.4. Zusammenfassend hat es beim vorinstanzlichen Entscheid sein Bewenden.
6.
Als unterliegende Partei hat der Beschwerdeführer die Gerichtskosten (Art. 65 Abs. 1 und Abs. 4 lit. a BGG) zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 2. März 2022
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Wirthlin
Die Gerichtsschreiberin: Kopp Käch