Erwägungen:
1.
Mit Entscheid vom 11. September 2019 hiess der Einzelrichter am Kreisgericht Rheintal die Klage des Beschwerdegegners teilweise gut. Er verpflichtete den Beschwerdeführer, dem Beschwerdegegner Fr. 11'847.73 (Mietzinsausstände, Kosten für Nachschlüssel und für die Behebung von Nikotinschäden) nebst Zins zu bezahlen, unter Anrechung der Mietkaution von Fr. 1'000.--, und beseitigte in diesem Umfang nebst Betreibungskosten den Rechtsvorschlag. Im Übrigen wies der Einzelrichter die Klage und die Widerklage ab, soweit er letztere nicht infolge Rückzugs als erledigt abschrieb.
Gegen diesen erstinstanzlichen Entscheid erhob der Beschwerdeführer Berufung an das Kantonsgericht St. Gallen. Das Kantonsgericht wies die Berufung mit Entscheid vom 22. April 2021 ab.
Dagegen erhob der Beschwerdeführer mit Eingabe vom 27. Mai 2021 Beschwerde an das Bundesgericht.
Mit Verfügung vom 31. Mai 2021 wurde das vom Beschwerdeführer gestellte Gesuch um aufschiebende Wirkung abgewiesen, da es nicht begründet wurde und keine Gründe ersichtlich waren, welche die Gewährung der aufschiebenden Wirkung rechtfertigen würden.
Mit Eingabe vom 8. Juni 2021 stellte der Beschwerdeführer erneut einen Antrag um Erteilung der aufschiebenden Wirkung.
Auf das Einholen von Vernehmlassungen zur Beschwerde wurde verzichtet.
2.
Der Beschwerdeführer beantragt, über die Beschwerde sei in einer mündlichen Urteilsberatung im Sinne von Art. 58 BGG zu entscheiden.
Vor Bundesgericht besteht kein Anspruch auf eine Parteiverhandlung (Art. 57 BGG) oder eine mündliche Beratung (Art. 58 BGG). Ohnehin ist die Beratungsfrage aufgrund der offensichtlich ungenügenden Begründung in der Sache obsolet (vgl. Erwägung 4).
3.
3.1. Beschwerden an das Bundesgericht sind hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (BGE 140 III 115 E. 2 S. 116; 134 II 244 E. 2.1). Dafür muss in der Beschwerdeschrift unter Bezugnahme auf die Erwägungen des angefochtenen Entscheids dargelegt werden, inwiefern dieser Recht verletzt (Art. 42 Abs. 1 und 2 BGG; BGE 140 III 115 E. 2 S. 116, 86 E. 2 S. 89). Eine Verletzung von Grundrechten wird vom Bundesgericht nicht von Amtes wegen geprüft, sondern nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
3.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (BGE 140 III 16 E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (BGE 140 III 16 E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (BGE 140 III 86 E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18).
4.
Diese Begründungsanforderungen erfüllen die Eingaben des Beschwerdeführers offensichtlich nicht. Er legt vor Bundesgericht bloss in frei gehaltenen Ausführungen seine Sicht der Dinge dar, ohne indessen auf die Erwägungen der Vorinstanz hinreichend konkret einzugehen, geschweige denn nachvollziehbar aufzuzeigen, welche Rechte die Vorinstanz mit ihrem Entscheid inwiefern verletzt haben soll.
Auf die Beschwerde ist somit mangels hinreichender Begründung nicht einzutreten (Art. 108 Abs. 1 lit. b BGG).
5.
Das erneut gestellte Gesuch um Erteilung der aufschiebenden Wirkung wird mit dem Entscheid in der Sache selbst gegenstandslos.
6.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der Beschwerdegegner hat keinen Anspruch auf eine Parteientschädigung, da ihm aus dem bundesgerichtlichen Verfahren kein Aufwand erwachsen ist (Art. 68 Abs. 2 BGG).
Demnach erkennt die Präsidentin:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 22. Juni 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger