Art. 9 und 29 Abs. 2 BV (Zivilprozess), hat sich ergeben:
A.- A._ (Beschwerdeführer) verkaufte mit öffentlich beurkundetem Vertrag vom 10. August 1992 zwei Stockwerkeinheiten der Liegenschaft "X._" in Y._ an seine Schwester C._. Bei diesen Einheiten handelt es sich um eine Wirtschaft im Erd- und eine 4-Zimmerwohnung im Obergeschoss. Gemäss Ziffer 16 des Vertrags gewährte der Verkäufer der Erwerberin zudem das ausschliessliche Benützungsrecht an einer Garage in der Liegenschaft. Dieses Recht sollte solange bestehen, bis der Eigentümer die Garage für einen Ausbau als Wohnraum in Anspruch nehmen würde, jedoch gegen Gewährung eines Ersatzraums im gleichen Haus gegen Entgelt.
B.- Im Jahre 1994 führte der Ehemann von C._, B._ (Beschwerdegegner), vor Bezirksgericht Schaffhausen ein Einspracheverfahren gegen ein Projekt des Beschwerdeführers zum Um- und Ausbau der Liegenschaft "X._". Nachdem die Parteien am 16. Mai 1995 eine Vereinbarung geschlossen hatten, in der sich der Beschwerdegegner unter anderem zum Rückzug der Baueinsprache verpflichtete, schrieb das Bezirksgericht das Verfahren am 23. Mai 1995 als wegen Rückzugs der Einsprache erledigt ab. In der Abschreibungsverfügung wird festgehalten, die Parteien hätten sich wie folgt geeinigt:
"A._ verpflichtet sich, B._ anstelle
des bisherigen Einstellraums (Garage) im Erdgeschoss
der Liegenschaft GB Y._ Nr. 84 den
unmittelbardaneben gelegenen Raum (`Lager`, 20,16
m2, nach Massgabe des Grundrissplanes 1:100, Plan
Nr. 839. 2, vom 22.06./15. 09.1994) für einen monatlichen
Mietzins von Fr. 100.-- zur Benutzung zu
überlassen (vgl. Kaufvertrag A._/C. _
vom 10.08.1992, Ziffer 16 der weiteren Vereinbarungen).. "
C.- Am 11. Dezember 1997 kündigte der Beschwerdeführer das Mietverhältnis mit dem Beschwerdegegner auf den 31. Dezember 1997 unter Berufung auf Eigenbedarf. Die hierauf vom Beschwerdegegner angerufene Schlichtungsstelle erklärte die Kündigung am 11. Juni 1998 für ungültig.
Mit Klage vom 27. Juli 1998 beantragte der Beschwerdeführer dem Kantonsgericht Schaffhausen, es sei die Gültigkeit der gegenüber dem Beschwerdegegner ausgesprochenen Kündigung festzustellen. Das Kantonsgericht wies die Klage am 21. Oktober 1998 ab. Gleich entschied das Obergericht des Kantons Schaffhausen auf Berufung des Beschwerdeführers mit Urteil vom 6. Juli 2001.
D.- Mit staatsrechtlicher Beschwerde wegen Verletzung von Art. 9 und 29 Abs. 2 BV beantragt der Beschwerdeführer dem Bundesgericht die Aufhebung des Urteils des Obergerichts.
Der Beschwerdegegner schliesst auf Abweisung der Beschwerde, soweit auf sie einzutreten sei. Das Obergericht hat auf Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- Das Obergericht liess offen, ob es sich beim Mietobjekt um einen Geschäftsraum mit sechsmonatiger Kündigungsfrist (<ref-law>) oder um einen gesondert vermieteten Einstellplatz oder eine ähnliche Einrichtung mit einer zweiwöchigen Kündigungsfrist (<ref-law>) handelt, weil es zum Schluss gelangte, dass die Parteien eine besondere Abrede mit Bezug auf die Kündigungsmöglichkeit getroffen hätten.
Nach seinen Feststellungen haben die Parteien am 16. Mai 1995 eine weitere Vereinbarung unterzeichnet, die im ersten Absatz gleich wie jene lautet, die dem Kantonsgericht vorgelegt wurde, die indes einen zweiten Absatz mit folgendem Wortlaut enthält:
"Das Mietverhältnis bezüglich des neuen Einstellraumeskann
lediglich gekündigt werden, sofern ihm
A._ stattdessen einen anderen Raum mit einer
Grundfläche von 20 m2 in der Liegenschaft GB
Y._ Nr. 84 vermietet (vgl. Kaufvertrag
A._/ C._ vom 10.08.1992, Ziffer 16
der weiteren Vereinbarungen). "
Das Obergericht hielt alsdann im Einklang mit dem Kantonsgericht dafür, die Parteien hätten seinerzeit die Geltung der ergänzten Vereinbarung gewollt. Zu diesem Ergebnis gelangte es vor allem aufgrund eines Schreibens des damaligen Anwalts des Beschwerdeführers vom 12. Mai 1995. Darin wurde unter Bezugnahme auf mehrere telefonische Besprechungen ausgeführt:
"Nach Rücksprache mit meinem Klienten habe ich die
Vereinbarung entsprechend der Ziffer 16 des Kaufvertrags
vom 10. August 1992 ergänzt. Eine Kündigung
des Mietverhältnisses bezüglich des Einstellraums
ist meinem Mandanten somit nur möglich, sofern
er Ihnen stattdessen einen Ersatzraum von 20
m2 zur Verfügung stellt. Beiliegend übergebe ich
Ihnen die in diesem Sinne bereinigte Fassung der
Vereinbarung. "
Das Obergericht verwarf die Einwände, welche der Beschwerdeführer gegen die Aussagen in diesem Brief erhob.
Es wies darauf hin, dass die Behauptung, der damalige Rechtsvertreter habe allenfalls wegen Zeitnot dem tatsächlichen Willen des Beschwerdeführers zuwidergehandelt, im Widerspruch stehe zum klaren Hinweis auf eine vorherige Rücksprache. Der Beschwerdeführer habe die durch die "Unkündbarkeitsklausel" ergänzte Version denn auch unterzeichnet.
Das Obergericht mass der Klausel nach ihrem Kontext nicht die Bedeutung einer Unkündbarkeit auf alle Zeiten bei, sondern für so lange als der Beschwerdegegner die Wirtschaft führt. Schliesslich hielt es fest, der Beschwerdeführer habe für die Kündigung auch keine wichtigen Gründe im Sinne von <ref-law> geltend machen können, womit diese ungültig sei.
2.- Der Beschwerdeführer rügt, es sei ihm das rechtliche Gehör verweigert worden, weil er keine Gelegenheit erhalten habe, den Gegenbeweis zu führen. Die kantonalen Gerichte hätten aber auch die Verfahrensvorschriften über die Beweisauflage und die Beweisabnahme (<ref-law> SH) willkürlich ausgelegt. Namentlich sei ihm nicht formell Gelegenheit zur Nennung seiner Beweismittel zu bestimmten Beweissätzen eröffnet worden.
a) Gemäss <ref-law> haben die Parteien Anspruch auf rechtliches Gehör. Das rechtliche Gehör dient einerseits der Sachaufklärung, anderseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheids dar, welcher in die Rechtsstellung des Einzelnen eingreift. Dazu gehört insbesondere das Recht des Betroffenen, sich vor Erlass eines solchen Entscheides zur Sache zu äussern und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 2b mit Hinweis). Der Gehörsanspruch ist verletzt, wenn ein Mitwirkungsrecht verweigert wird. Eine bestimmte Form, in welcher den Parteien die Gelegenheit zu dessen Ausübung eingeräumt werden muss, sieht die Bundesverfassung nicht vor.
b) Aus dem angefochtenen Urteil geht hervor, dass der Beschwerdeführer mit Bezug auf die einzig umstrittene Frage des tatsächlichen Geschäftswillens der Parteien im Hinblick auf ein allfälliges Beweisverfahren an der Hauptverhandlung vor Kantonsgericht angefragt wurde, ob er Beweismittel für seine Darstellung habe. Der Beschwerdeführer habe hierauf ausschliesslich auf die Abschreibungsverfügung vom 23. Mai 1995 verwiesen. Nachher sei beiden Parteien hinreichend Gelegenheit gegeben worden, sich zu den eingereichten Unterlagen zu äussern.
Der Beschwerdeführer hatte demnach bereits im erstinstanzlichen Verfahren die Möglichkeit, zur streitigen Frage Beweismittel zu bezeichnen. Zudem macht er nicht geltend, dass er im Verfahren vor dem Obergericht Antrag auf Abnahme weiterer Beweismittel gestellt hat. Inwiefern ihm sein Recht zum Beweis abgeschnitten worden wäre, ist daher nicht ersichtlich.
Eine Verletzung des rechtlichen Gehörs liegt insoweit offensichtlich nicht vor. Es kann daher dahingestellt bleiben, ob sich die staatsrechtliche Beschwerde in diesem Punkt ausreichend mit den Erwägungen im angefochtenen Urteil auseinandersetzt und den Begründungsanforderungen von Art. 90 Abs. 1 lit. b OG genügt (vgl. dazu <ref-ruling> E. 1b mit Hinweisen).
c) Im Zusammenhang mit der Rüge willkürlicher Missachtung beweisrechtlicher Prozessformen zeigt der Beschwerdeführer nicht auf, welche Beweismittel er wegen des Vorgehens der kantonalen Gerichte nicht in den Prozess einführen konnte, geschweige denn, inwiefern sich bei einem aus seiner Sicht willkürfreien Verfahren ein anderer Ausgang ergeben hätte. Die Aufhebung eines kantonalen Urteils rechtfertigt sich jedoch nur, wenn der Entscheid im Ergebnis verfassungswidrig ist (<ref-ruling> E. 2a mit Hinweis). Da dies mit der Beschwerde nicht aufgezeigt wird und auch nicht ersichtlich ist, kann auf die Rüge willkürlicher Verletzung von kantonalen Verfahrensvorschriften nicht eingetreten werden.
3.- Der Beschwerdeführer wirft dem Obergericht sodann vor, es habe seine zum tatsächlichen Parteiwillen vorgetragenen Argumente willkürlich gewürdigt.
a) Willkürlich ist ein Entscheid nach konstanter Rechtsprechung nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2b mit Hinweisen).
Soweit Willkür in der Ermittlung des Sachverhalts gerügt wird, ist zu beachten, dass dem Sachgericht in der Beweiswürdigung ein breiter Ermessensspielraum zusteht. Der Beschwerdeführer hat darzulegen, inwiefern das kantonale Gericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder willkürlich unberücksichtigt gelassen hat (BGE 118 Ia 3394 E. 2c S. 397; <ref-ruling> E. 5 S. 306 mit Hinweis).
b) Soweit der Beschwerdeführer eine unrichtige Beweislastverteilung rügt, ist auf seine Vorbringen nicht weiter einzugehen. Die kantonalen Gerichte haben in Würdigung der Beweise den übereinstimmenden Parteiwillen bestimmt.
Damit ist die Frage der Beweislastverteilung nach ständiger Praxis des Bundesgerichts gegenstandslos (<ref-ruling> E. 2a S. 291 mit Hinweisen).
Der Beschwerdeführer weist auf den Umstand hin, dass dem Bezirksgericht im Einspracheverfahren die kurze Version der Vereinbarung vorgelegt wurde, und wertet das als Indiz für die Richtigkeit seines Standpunktes. Dieses Argument ist indes bereits vom Obergericht überzeugend widerlegt worden. Im angefochtenen Urteil wird darauf hingewiesen, dass die jetzige Streitfrage nicht Gegenstand des Baueinspracheverfahrens gebildet hat. Die Abschreibung sei denn auch nicht zufolge der Vereinbarung, sondern gestützt auf die darin enthaltene Verpflichtung zum Rückzug der Einsprache erfolgt. Die Urkundenwirkung der damals eingereichten Vereinbarung beschränke sich im Übrigen auf die ohnehin nicht streitige Feststellung, dass dem Bezirksrichter die Fassung ohne Unkündbarkeitsklausel eingereicht worden sei.
Daraus ergibt sich, dass es für die Parteien damals bedeutungslos war, ob sie dem Gericht eine vollständige oder eine gekürzte Niederschrift der Vereinbarung vorlegten. Ferner lässt sich der Umstand, dass am 16. Mai 1995 beide Parteien beide Versionen unterschrieben haben, weder zu Gunsten der einen noch der anderen Partei werten. Vielmehr haben dadurch beide in gleichem Masse zur Schaffung der Unklarheit beigetragen.
Vor diesem Hintergrund erscheint als durchaus haltbar, dem Schreiben des damaligen Rechtsvertreters des Beschwerdeführers entscheidendes Gewicht beizumessen und daraus zu schliessen, es habe dem übereinstimmenden Parteiwillen entsprochen, die Unkündbarkeitsklausel einzufügen, und nicht, wie der Beschwerdeführer sinngemäss vorträgt, diese wegzustreichen. Die Willkürrüge erweist sich damit als unbegründet.
4.- Aus diesen Gründen ist die staatsrechtliche Beschwerde abzuweisen, soweit auf sie eingetreten werden kann.
Dem Ausgang des Verfahrens entsprechend ist die Gerichtsgebühr dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG). Dieser hat den Beschwerdegegner für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
_
Lausanne, 4. Dezember 2001
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: