rechtliches Gehör), hat sich ergeben:
A.- Durch öffentliche Versteigerung vom 5. Oktober 1990 erwarb B._ (Beschwerdegegner) das Grundstück X._, haltend 30'748 m2, bestehend aus Wohnhaus, Gaden, Werkstatt, Hofraum, Weg, Wiese und Bach. Gemäss den Steigerungsbedingungen des Betreibungsamts Galgenen vom 27. August 1990 bestanden über Stall und Wiesland keine Miet- oder Pachtverträge. A._ (Beschwerdeführer) nutzt den Stall und das Wiesland dieses Grundstücks seit 1988, um Schafe zu halten. Am 30. März 1999 teilte der Beschwerdegegner dem Beschwerdeführer mit, er habe den Stall und das Grundstück bis zum 30. Juni 1999 zu räumen und zu verlassen.
B.- Mit Klage vom 25. Januar 2000 beantragte der Beschwerdegegner dem Bezirksgericht March die Ausweisung des Beschwerdeführers. Mit Verfügung vom 26. Januar 2000 wurde der Beschwerdeführer aufgefordert, bis zum 16. Februar eine schriftliche Klageantwort einzureichen. Für den Säumnisfall wurde angedroht, dass Anerkennung der klägerischen Sachdarstellung und Verzicht auf Einrede angenommen würde. Nachdem der Beschwerdeführer dieser Aufforderung keine Folge geleistet hatte, wurde ihm mit Verfügung des Einzelrichters des Bezirks March vom 22. Februar 2000 befohlen, das Grundstück X._, innert drei Tagen seit Rechtskraft der Verfügung ordnungsgemäss zurückzugeben.
Einen hiergegen erhobenen Rekurs wies das Kantonsgericht des Kantons Schwyz mit Entscheid vom 1. Dezember 2000 unter Bestätigung der angefochtenen Verfügung ab.
C.- a) Gegen diesen Entscheid führt der Beschwerdeführer sowohl Berufung als auch staatsrechtliche Beschwerde.
Mit der Beschwerde verlangt er die Aufhebung des angefochtenen Urteils. Der Beschwerdegegner und das Kantonsgericht schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei.
b) Mangels Erreichens der Berufungssumme ist das Bundesgericht mit Entscheid vom heutigen Tag auf die Berufung nicht eingetreten.

Das Bundesgericht zieht in Erwägung:
1.- Da die Streitsache mangels genügenden Streitwerts nicht berufungsfähig ist, sind die Voraussetzungen der absoluten Subsidiarität der staatsrechtlichen Beschwerde gemäss Art. 84 Abs. 2 OG erfüllt, so dass im vorliegenden Verfahren auch die verfassungswidrige Anwendung von Bundesrecht geltend gemacht werden kann.
2.- Der Beschwerdeführer rügt in verschiedener Hinsicht eine Verletzung von Art. 9 und Art. 29 Abs. 2 BV. Insbesondere führt er an, das Kantonsgericht sei in Willkür verfallen, indem es das im Befehlsverfahren gestellte Gesuch gutgeheissen habe, obwohl der geltend gemachte Räumungsanspruch des Beschwerdegegners in tatsächlicher und rechtlicher Hinsicht in keiner Weise liquid sei. Durch die Weigerung der Abnahme rechtsgenüglich angebotener Beweise (Noven) habe das Kantonsgericht zudem kantonales Recht (§ 104 Ziffer 2 ZPO SZ) missachtet sowie den verfassungsrechtlich garantierten Gehörsanspruch verletzt. Schliesslich macht er eine willkürliche Anwendung bundesrechtlicher Bestimmungen geltend, weil die Ausweisung unter Missachtung verschiedener Bestimmungen des Bundesgesetzes über die landwirtschaftliche Pacht und ohne Kündigung durch den Beschwerdegegner erfolgt sei.
3.- Willkür liegt nach ständiger Rechtsprechung nicht schon dann vor, wenn eine andere als die vom kantonalen Gericht gewählte Lösung ebenfalls vertretbar oder gar zutreffender erschiene. Der angefochtene Entscheid muss vielmehr offensichtlich unhaltbar sein, mit der tatsächlichen Situation in klarem Widerspruch stehen, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzen oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderlaufen (<ref-ruling> E. 3a mit Hinweisen). In der Beweiswürdigung steht dem kantonalen Gericht ein weiter Ermessensspielraum zu (<ref-ruling> E. 4b). Das Bundesgericht greift nur ein, wenn das kantonale Gericht sein Ermessen missbraucht hat, namentlich zu völlig unhaltbaren Schlüssen gelangt ist oder erhebliche Beweise übersehen oder willkürlich nicht berücksichtigt hat (<ref-ruling> E. 1b S. 30). Dabei genügt es nicht, dass die Begründung unhaltbar ist; der Entscheid muss sich im Ergebnis als willkürlich erweisen (<ref-ruling> E. 2a mit Hinweis).
a) Mangels Entscheidwesentlichkeit ist auf die Rüge der Verletzung kantonalen Novenrechts bzw. des rechtlichen Gehörs durch Nichtberücksichtigung des Bewirtschafterverzeichnisses nicht einzutreten. Denn die mögliche Anwendbarkeit des Bundesgesetzes über die landwirtschaftliche Pacht (LPG, SR 221. 213.2) aufgrund der Nutzungsart der Liegenschaft ist in diesem Verfahren nicht strittig, und nur dafür wäre diese Urkunde überhaupt beweiskräftig.
b) Der Beschwerdeführer rügt eine Verletzung des Anspruchs auf rechtliches Gehör bzw. eine willkürliche Beweiswürdigung, da die vom Beschwerdegegner eingereichten Klagebeilagen 7 und 11 vom Bezirksgericht March nicht berücksichtigt worden seien. Dieser Mangel sei vom Kantonsgericht verfassungswidrig nicht behoben worden. Die Klagebeilagen 7 und 11 sind zwei Schreiben des Beschwerdeführers an den Beschwerdegegner, in denen das Vorliegen eines Pachtverhältnisses zumindest sinngemäss behauptet wird.
Indem das Kantonsgericht davon ausging, der Einzelrichter des Bezirks March habe die Klagebeilagen 7 und 11 wegen der Säumnis des Beschwerdeführers ausser Acht lassen können, hat es weder den Gehörsanspruch des Beschwerdeführers verletzt noch ist es in willkürliche Beweiswürdigung verfallen. Denn in Folge der Säumnis des Beschwerdeführers im erstinstanzlichen Verfahren hatte der Einzelrichter ein allein auf die Sachdarstellung des Beschwerdegegners gestütztes Urteil zu fällen und dabei lediglich jene rechtshindernden, -aufhebenden und -hemmenden Tatsachen zu berücksichtigen, die der Beschwerdegegner selbst angeführt hatte.
Die ein Pachtverhältnis ohnehin nur andeutenden Klagebeilagen 7 und 11 enthalten keine solchen Tatsachenbehauptungen, sondern lediglich eine Rechtsauffassung, welche nicht bei der Sachverhaltsermittlung zu prüfen ist.
c) In gleicher Weise ist die Rüge willkürlicher Nichtanwendung von Art. 47 Abs. 2 LPG bzw. der Verweigerung des rechtlichen Gehörs unbegründet. Gemäss Art. 47 Abs. 2 LPG hat das Gericht den Sachverhalt von Amtes wegen festzustellen und die Parteien anzuhören. Da der Beschwerdeführer sich am erstinstanzlichen Verfahren nicht beteiligte, durfte das Kantonsgericht willkürfrei davon ausgehen, das Recht auf Anhörung gemäss Art. 47 Abs. 2 LPG sei in genügender Form gewährt worden.
d) Der Beschwerdeführer rügt sodann die Verletzung des in Art. 47 Abs. 2 LPG statuierten Untersuchungsgrundsatzes, weil das Kantonsgericht den Sachverhalt nicht von sich aus erforscht habe.
Die sozialpolitisch begründete Untersuchungsmaxime in Art. 47 Abs. 2 LPG bezweckt, die wirtschaftlich schwächere Partei zu schützen, die Gleichheit zwischen den Parteien herzustellen sowie das Verfahren zu beschleunigen (vgl. <ref-ruling> E. 4a). Es handelt sich dabei insofern um eine gemilderte Verhandlungsmaxime (vgl. Jürgen Brönnimann, Gedanken zur Untersuchungsmaxime, ZBJV 126/1990, S. 329 ff., S. 345), denn Art. 47 Abs. 2 LPG entbindet die Parteien - wie die verwandte Vorschrift in <ref-law> - nicht von der aktiven Teilnahme an der Sachverhaltsermittlung. Die richterliche Initiative geht insoweit nicht über eine Aufforderung an die Parteien hinaus, Beweismittel zu nennen und beizubringen (vgl. <ref-ruling> E. 4a). Der Beschwerdeführer verkennt die Tragweite dieser Bestimmung, wenn er meint, das Kantonsgericht hätte als Rechtsmittelinstanz von sich aus weitere Abklärungen aufgrund der vorhandenen Urkunden, insbesondere eine nochmalige Befragung der Parteien vornehmen müssen. Denn die Möglichkeit der umfassenden Überprüfung der Streitsache gemäss Art. 47 Abs. 2 LPG ist dann gewahrt, wenn sie von einer kantonalen Instanz wahrgenommen wird. Ob eine Partei diese Möglichkeit auch genutzt hat, spielt demgegenüber keine Rolle (vgl. Higi, Zürcher Kommentar, N 34, N 42 und N 45 zu <ref-law>). Die Kantone sind insbesondere frei, die Kognition der zweiten Instanz durch ein Novenverbot zu beschränken (vgl. <ref-ruling> E. 4a, S. 239; <ref-ruling> E. 2a, jeweils zu <ref-law>).
e) Aufgrund der eingeschränkten Überprüfungsbefugnis gemäss § 103 und 104 ZPO SZ war dem Kantonsgericht verwehrt, den Entscheid des Einzelrichters in tatsächlicher Hinsicht umfassend zu überprüfen.
f) Sodann hat das Kantonsgericht entgegen der Ansicht des Beschwerdeführers hinsichtlich zahlreicher neu eingereichter Urkunden weder kantonales Prozessrecht (<ref-law> SZ) noch den verfassungsrechtlich garantierten Gehörsanspruch verletzt. Gemäss <ref-law> SZ muss sich die Richtigkeit von neu vorgetragenen Behauptungen, Bestreitungen und Einreden aus den Prozessakten ergeben oder durch neu eingereichte Urkunden sofort bewiesen werden können.
Das Kantonsgericht durfte die grösstenteils vom Beschwerdeführer einzig für das kantonsgerichtliche Verfahren angefertigten Urkunden willkürfrei als novenrechtlich unzulässige Parteibehauptungen und somit als keine unmittelbar beweiskräftigen Urkunden im Sinne der Bestimmung erachten.
Insoweit ist auch die Rüge der Verletzung von <ref-law> SZ wegen Nichtberücksichtigung der Klagebeilagen 7 und 11 unbegründet. Gemäss <ref-law> SZ sind Tatsachen, welche von Amtes wegen zu beachten sind, als Noven zulässig.
Bei den Klagebeilagen 7 und 11 handelt es sich aber - wie zuvor in Erwägung 3b festgehalten - nicht um Tatsachenbehauptungen.
4.- Somit ist vom Sachverhalt auszugehen, wie er dem Urteil des Kantonsgerichts zu Grunde lag. Danach hatte der Beschwerdegegner nie einen Pachtzins gefordert, noch wurde ihm ein solcher vom Beschwerdeführer angeboten.
5.- Der Beschwerdeführer wirft dem Kantonsgericht vor, Art. 14 LPG bzw. Art. 290 i.V.m. <ref-law> in unhaltbarer Weise verletzt zu haben mit der Feststellung, der Pachtvertrag zwischen ihm und dem ehemaligen Eigentümer sei mangels Erwähnung in den Steigerungsbedingungen nicht auf den Beschwerdegegner als neuen Eigentümer übergegangen. Richtigerweise habe der Beschwerdegegner gemäss Art. 14 LPG das Pachtverhältnis mit dem Beschwerdeführer von Gesetzes wegen übernommen. Da das Pachtverhältnis aber nie gekündigt worden sei, bestehe es noch heute. Hätte das Kantonsgericht Art. 14 LPG bundesrechtskonform und willkürfrei angewendet, hätte es auf das Ausweisungsbegehren des Beschwerdegegners mangels Liquidität nicht eintreten dürfen.
a) Nach schwyzerischer Zivilprozessordnung kann bei nicht streitigen oder sofort beweisbaren tatsächlichen Verhältnissen das Befehlsverfahren gemäss <ref-law> eingeleitet werden. Das Gericht entscheidet im summarischen Verfahren. Fehlt es dabei an klarem Recht oder sofort beweisbaren tatsächlichen Verhältnissen, tritt das Gericht auf das Begehren nicht ein. Dem Kläger steht alsdann die Klage im ordentlichen Verfahren gemäss <ref-law> SZ offen.
b) Das Kantonsgericht stellte unangefochten fest, der Beschwerdeführer habe den Beweis für seine Behauptung sofort erbracht, wonach er dem vormaligen Eigentümer der Liegenschaft in den Jahren 1988 bis 1990 einen jährlichen Pachtzins von Fr. 1'200.-- bezahlt habe. Hingegen führte das Kantonsgericht in rechtlicher Hinsicht aus, das ursprüngliche Pachtverhältnis zwischen dem Beschwerdeführer und dem vormaligen Eigentümer der Liegenschaft sei trotz Art. 14 LPG bzw. Art. 290 i.V.m. <ref-law> nicht auf den Beschwerdegegner übergegangen. Denn weder sei in den Steigerungsbedingungen ein Pachtverhältnis erwähnt worden, noch habe der Beschwerdegegner von einem solchen Kenntnis gehabt oder haben müssen.
c) Art. 14 LPG enthält den Grundsatz, dass der Kauf die Pacht nicht bricht. Dem Kauf gleichgestellt ist dabei jeder dingliche Akt, mit dem das Eigentum übergeht, gemäss dem klaren Wortlaut der Bestimmung insbesondere auch der Entzug des Eigentums im Schuldbetreibungs- und Konkursverfahren (vgl. Studer, Basler Kommentar, N 2 zu <ref-law>).
Unter Vorbehalt einer Vertragsänderung sowie der abschliessend aufgezählten Ausnahmen in Art. 15 LPG tritt der Erwerber zu den Bedingungen, wie sie für den bisherigen Eigentümer und Verpächter gegolten haben, in den Pachtvertrag ein (<ref-ruling> E. 2, S. 39; Studer, a.a.O., N 2 zu <ref-law>; Manuel Müller, Die privatrechtlichen Bestimmungen des Bundesgesetzes über die landwirtschaftliche Pacht, ZBJV 123 (1987), Heft 1, S. 1 ff., S. 6). Art. 14 LPG statuiert somit analog zu <ref-law> einen gesetzlichen Vertragsparteiwechsel (vgl. <ref-ruling> E. 1d; Higi, Zürcher Kommentar, N 22 zu Art. 261-261a OR). Bei diesem kommt es jedoch entgegen der Auffassung des Kantonsgerichts auf die Kenntnis oder gar den Willen des neuen Verpächters nicht an (vgl. Higi, a.a.O., N 29 zu Art. 261-261a OR).
d) Dennoch ist der Entscheid des Kantonsgerichts im Ergebnis verfassungsrechtlich nicht zu beanstanden. Gemäss dessen unangefochtenen Feststellungen wusste der Beschwerdegegner nichts von einem allfälligen Bestand eines Pachtvertrags und musste er unter den gegebenen Umständen auch keinen solchen vermuten. Der Beschwerdeführer seinerseits traf gemäss den für das Bundesgericht nunmehr verbindlichen tatsächlichen Feststellungen während über neun Jahren keinerlei Anstalten, Pächterpflichten aus dem angeblichen früheren Vertrag nachzukommen, insbesondere weiterhin den Pachtzins von Fr. 1'200.-- pro Jahr zu zahlen. Durfte der Beschwerdeführer das Wiesland und den Stall daher seit dem Erwerb der Liegenschaft durch den Beschwerdegegner während über neun Jahren unentgeltlich nutzen, ist nicht willkürlich, darin gemäss dem Vertrauensprinzip zumindest eine konkludente Vereinbarung einer unentgeltlichen Gebrauchsleihe zwischen den Parteien ab dem Zeitpunkt des Eigentümerwechsels der Liegenschaft zu sehen. Wer über neun Jahre kein Entgelt für die Nutzung eines Grundstücks leistet, kann sich gegenüber dem Vertragspartner nach Treu und Glauben nicht darauf berufen, es liege ein entgeltlicher Vertrag vor. Da die Entgeltlichkeit gemäss Art. 4 LPG einen objektiv wesentlichen Vertragsbestandteil der landwirtschaftlichen Pacht darstellt (vgl.
Studer/Hofer, Das landwirtschaftliche Pachtrecht, Brugg 1987, S. 35), durfte das Kantonsgericht willkürfrei auch das Vorliegen eines allfälligen Umgehungsgeschäfts gemäss Art. 1 Abs. 2 LPG verneinen und auf das Vorliegen einer unentgeltlichen Gebrauchsleihe gemäss <ref-law> schliessen.
6.- Im Ergebnis ist das Kantonsgericht mit der Feststellung nicht in Willkür verfallen, dass der Beschwerdeführer den Nachweis eines Pachtverhältnisses zwischen den Parteien dieses Verfahrens nicht erbracht habe. Die Beschwerde ist daher abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang hat der Beschwerdeführer die Gerichts- und Parteikosten zu tragen (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Schwyz (1. Rekurskammer) schriftlich mitgeteilt.
_
Lausanne, 27. April 2001
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: