Erwägungen:
1.
Mit Entscheid vom 11. September 2019 hiess der Einzelrichter am Kreisgericht Rheintal die Klage des Beschwerdegegners teilweise gut. Er verpflichtete den Beschwerdeführer, dem Beschwerdegegner Fr. 11'847.73 (Mietzinsausstände, Kosten für Nachschlüssel und für die Behebung von Nikotinschäden) nebst Zins zu bezahlen, unter Anrechung der Mietkaution von Fr. 1'000.--, und beseitigte in diesem Umfang nebst Betreibungskosten den Rechtsvorschlag. Im Übrigen wies der Einzelrichter die Klage und die Widerklage ab, soweit er letztere nicht infolge Rückzugs als erledigt abschrieb.
Gegen diesen erstinstanzlichen Entscheid erhob der Beschwerdeführer Berufung an das Kantonsgericht St. Gallen. Das Kantonsgericht wies die Berufung mit Entscheid vom 22. April 2021 ab.
Dagegen erhob der Beschwerdeführer mit Eingabe vom 27. Mai 2021 Beschwerde an das Bundesgericht.
Mit Verfügung vom 31. Mai 2021 wurde das vom Beschwerdeführer gestellte Gesuch um aufschiebende Wirkung abgewiesen, da es nicht begründet wurde und keine Gründe ersichtlich waren, welche die Gewährung der aufschiebenden Wirkung rechtfertigen würden.
Mit Eingabe vom 8. Juni 2021 stellte der Beschwerdeführer erneut einen Antrag um Erteilung der aufschiebenden Wirkung.
Auf das Einholen von Vernehmlassungen zur Beschwerde wurde verzichtet.
2.
Der Beschwerdeführer beantragt, über die Beschwerde sei in einer mündlichen Urteilsberatung im Sinne von <ref-law> zu entscheiden.
Vor Bundesgericht besteht kein Anspruch auf eine Parteiverhandlung (<ref-law>) oder eine mündliche Beratung (<ref-law>). Ohnehin ist die Beratungsfrage aufgrund der offensichtlich ungenügenden Begründung in der Sache obsolet (vgl. Erwägung 4).
3.
3.1. Beschwerden an das Bundesgericht sind hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). Dafür muss in der Beschwerdeschrift unter Bezugnahme auf die Erwägungen des angefochtenen Entscheids dargelegt werden, inwiefern dieser Recht verletzt (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 2 S. 116, 86 E. 2 S. 89). Eine Verletzung von Grundrechten wird vom Bundesgericht nicht von Amtes wegen geprüft, sondern nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
3.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
4.
Diese Begründungsanforderungen erfüllen die Eingaben des Beschwerdeführers offensichtlich nicht. Er legt vor Bundesgericht bloss in frei gehaltenen Ausführungen seine Sicht der Dinge dar, ohne indessen auf die Erwägungen der Vorinstanz hinreichend konkret einzugehen, geschweige denn nachvollziehbar aufzuzeigen, welche Rechte die Vorinstanz mit ihrem Entscheid inwiefern verletzt haben soll.
Auf die Beschwerde ist somit mangels hinreichender Begründung nicht einzutreten (<ref-law>).
5.
Das erneut gestellte Gesuch um Erteilung der aufschiebenden Wirkung wird mit dem Entscheid in der Sache selbst gegenstandslos.
6.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Der Beschwerdegegner hat keinen Anspruch auf eine Parteientschädigung, da ihm aus dem bundesgerichtlichen Verfahren kein Aufwand erwachsen ist (<ref-law>).

Demnach erkennt die Präsidentin:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 22. Juni 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger