Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die IV-Stelle hat in der vorinstanzlichen Vernehmlassung die gesetzlichen Bestimmungen über den Invaliditätsbegriff (Art. 4 IVG), die Voraussetzungen, Umfang und den Beginn des Rentenanspruchs (Art. 28 Abs. 1 und Abs. 1bis, Art. 29 Abs. 1 IVG), die Invaliditätsbemessung bei Erwerbstätigen (Art. 28 Abs. 2 IVG) sowie die Rechtsprechung zur Aufgabe des Arztes und des Berufsberaters im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 2 mit Hinweisen), zum Grundsatz der Schadenminderungspflicht (<ref-ruling> Erw. 2b, 400, je mit Hinweisen), den Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> Erw. 2) und zur Erwerbslosigkeit aus invaliditätsfremden Gründen (<ref-ruling> Erw. 2c) zutreffend dargelegt. Darauf ist mit dem kantonalen Gericht zu verweisen.
2.- a) Das Spital Y._ diagnostiziert im orthopädischen Gutachten vom 15. Dezember 1997 ein chronisches Lumbovertebralsyndrom bei Zustand nach Mikrodiskektomie L5/S1 (11. April 1994), bei probatorischem Fixateur externe L5/S1 (22. Juni 1995), bei konsolidierter Distraktions-Spondylodese dorso-lateral/intercorporell L5/S1 mit Fixateur interne (4. August 1995), bei leichten degenerativen Veränderungen und bei ausgeprägter muskulärer Dysbalance, ein rezidivierendes Cervicovertebralsyndrom bei Fehlhaltung, bei Chondrose C3/4, bei muskulärer Dysbalance, ein CTS rechtsseitig ausgeprägter als links und Hohlfüsse beidseits. Hinsichtlich der aus medizinischer Sicht zumutbaren Arbeiten hält es fest, die schweren Tätigkeiten eines Landwirtes im Gebirge könnten dem Versicherten nicht mehr zugemutet werden. Die leichten landwirtschaftlichen Tätigkeiten könnten zu höchstens 25 % ausgeübt werden.
Medizinisch-theoretisch gesehen sei der Beschwerdegegner in einem Beruf, welcher ihm das Sitzen erlaube mit Abwechslung zu stehender/gehender Tätigkeit ohne Tragen von Lasten, ohne übermässige sonstige Belastungen einsetzbar. Eine solche Tätigkeit könne sicher zwischen 75 % bis 100 % ausgeübt werden. Nach einer Umschulung auf Tätigkeiten wie im Büro, KV-Bereich, Verkauf von landwirtschaftlichen Produkten oder Maschinen sei eine Arbeitsfähigkeit im Rahmen von 75 % sicher zu erwarten.
Die berufliche Abklärungs- und Ausbildungsstätte Z._ kommt im Bericht vom 23. März 1999 zur Beurteilung, der Beschwerdegegner sei bei körperlich und den Rücken stärker belastenden Tätigkeiten längerfristig nicht mehr arbeitsfähig, da bei solcher Art ungeeigneten Arbeiten Zustandsverschlechterungen zu erwarten seien. Unter Berücksichtigung der verminderten Rückenbelastbarkeit und bei Miteinbezug unserer praktischen Belastungsprüfung könne er bei den Rücken leichter belastenden Tätigkeiten ganztags während acht Stunden eingesetzt werden. Dabei sollte eine behinderungsangepasste Tätigkeit die Möglichkeit zur Wechselbelastung (Sitzen/Stehen oder ein paar Schritte gehen) bieten und nicht mit wiederholtem Arbeiten in stärker rückenbelastenden Körperpositionen (z.B. gebückt, stehend mit vorgeneigtem und/oder rotiertem Oberkörper) verbunden sein. Geeignete Tätigkeiten seien u.a. weniger anspruchsvolle manuelle Arbeiten, welche überwiegend auf Tischhöhe ausgeübt werden können (z.B. im Metall-/Montagebereich).
Bei einer geeigneten Tätigkeit sei unter Berücksichtigung allfällig zusätzlich nötiger Positionswechsel oder arbeitsabhängig kurzer Entlastungspausen eine Arbeitsfähigkeit von 75 % realisierbar und zumutbar, aufgrund der Beobachtungen am besten verwertet bei erhöhtem Zeitaufwand (z.B. ganztags).
Nur vereinzelt ausgeübt und in rückengerechter Körperposition sei dem Beschwerdegegner auch das kurzzeitige Heben und Tragen von Lasten bis etwa 15 kg möglich. Aufgrund der Abklärungen seien Arbeitsplätze zumutbar, wie Produktionsmitarbeiter bei der Firma I._ AG, Benzinstellenwart sowie Anstellungen bei Bergbahnen oder als Hilfskondukteur.
b) Gestützt auf diese beiden spezialärztlichen und beruflichen Abklärungen ist der Beschwerdegegner als Landwirt praktisch vollständig arbeitsunfähig. Hingegen besteht für leidensangepasste leichtere Arbeiten, namentlich bei den von der Abklärungs- und Ausbildungsstätte Z._ beschriebenen Tätigkeiten, eine Arbeitsfähigkeit von 75 %.
Von einer solchen Arbeitsfähigkeit sind zu Recht auch die Beschwerde führende IV-Stelle und das kantonale Gericht ausgegangen.
3.- a) Zu prüfen ist zunächst, ob dem Beschwerdegegner ab 1. Januar 1998 ein Rentenanspruch zusteht. Dabei ist für die Festsetzung des Invalideneinkommens nicht die bisherige Tätigkeit als selbstständiger Landwirt, sondern das bei Verwertung der Restarbeitsfähigkeit mit einer zumutbaren leichteren Tätigkeit erzielbare Einkommen massgebend. Der Beschwerdegegner macht keine Gründe geltend, weshalb ein Berufswechsel nicht in Frage kommen sollte. Solche Gründe wie Alter, Aktivitätsdauer, Ausbildung, Art der bisherigen Tätigkeit und persönliche Lebensumstände (Urteil F. vom 12. September 2001, I 145/01) sind nicht ersichtlich.
Namentlich hat das Eidgenössische Versicherungsgericht festgehalten, dass unter bestimmten Voraussetzungen auch ein selbstständig erwerbender Landwirt aus der Sicht der Invalidenversicherung aufgrund der Schadenminderungspflicht seinen Hof aufzugeben hat (ZAK 1983 S. 256; ZAK 1968 S. 473; Urteil in Sachen W. vom 22. Oktober 2001, I 224/01). Dabei fällt im vorliegenden Fall neben dem bleibenden Gesundheitsschaden und der noch langen Aktivitätsdauer der Umstand ins Gewicht, dass der Bauernbetrieb des Beschwerdegegners zu grossen Teilen aus zugepachtetem Land besteht.
b) Die IV-Stelle hat in ihrer Verfügung vom 21. Juli 1999 das Einkommen als selbstständiger Landwirt auf Fr. 30'800.- festgelegt. In der Verwaltungsgerichtsbeschwerde führt sie demgegenüber aus, das rein landwirtschaftliche Einkommen vor Eintritt des Gesundheitsschadens habe gemäss den Steuerunterlagen 1991 Fr. 36'543.- und 1992 Fr. 36'832.- betragen. Davon seien der Zinsertrag auf dem investierten Eigenkapital abzuziehen, hingegen seien die effektiv bezahlten AHV/IV/EO-Beiträge (Art. 25 Abs. 1 IVV in Verbindung mit Art. 9 Abs. 2 lit. d zweiter Satz und lit. f AHVG; SVR 1999 IV Nr. 24 S. 72 f. Erw. 4b) aufzurechnen.
Sodann sei das Einkommen auszuscheiden, das durch die Mitarbeit der Familienmitglieder erzielt worden sei (Art. 25 Abs. 2 IVV). Schliesslich sei das Valideneinkommen der realen Einkommensentwicklung anzupassen, wobei mangels spezifischer Tabellen für Selbstständigerwerbende der Reallohnindex für Arbeitnehmer des Bundesamtes für Statistik heranzuziehen sei (SVR 1999 IV Nr. 24 S. 73 Erw. 5; ZAK 1990 S. 519 Erw. 3c).
Dieser Berechnungsweise ist beizupflichten. Namentlich entspricht die Berücksichtigung der von der Mutter und dem Bruder des Beschwerdegegners erbrachten Arbeiten auf dem Landwirtschaftsbetrieb Art. 25 Abs. 2 IVV, weshalb das kantonale Gericht dieses Vorgehen zu Unrecht als "geradezu spitzfindig" bezeichnet. Entgegen der Auffassung der IV-Stelle kann die genaue Ermittlung des Valideneinkommens für das hier massgebende Jahr 1998 nicht offen gelassen werden.
Das landwirtschaftliche Einkommen des Beschwerdegegners betrug im Jahre 1992 Fr. 36'832.-. Der Reallohnindex zwischen 1992 und 1998 stieg von 280 (1939=100) auf 282 (Die Volkswirtschaft 1999 und 2000, je B10. 3), was für 1998 ein Einkommen von Fr. 37'095.- ergibt. Hievon ist der Anteil der Mitarbeit der Familienmitglieder abzuziehen, nicht jedoch ein Zinsertrag für das investierte Eigenkapital, da die Betriebsschulden das im Betrieb investierte Vermögen übersteigen. Im Abklärungsbericht für Landwirte vom 15. März 1996 wird bezogen auf die Zeit vor Eintritt des Gesundheitsschadens die Mithilfe durch die Mutter des Beschwerdegegners auf 10 % und durch seinen Bruder auf 5 % (zwei bis drei Wochen pro Jahr) geschätzt. Angesichts der bescheidenen Mithilfe des Bruders und des Alters der Mutter rechtfertigt sich für das Jahr 1998 ein Abzug von 10 %, sodass der Anteil des Beschwerdegegners Fr. 33'386.- beträgt.
Aufzurechnen sind die persönlichen Sozialversicherungsbeiträge, die gemäss Fragebogen für Landwirte im Jahre 1992 Fr. 2455.- ausmachten und auf den in den Vorjahren erwirtschafteten, tieferen Einkommen erhoben wurden. Die Beiträge für das Jahr 1998 wären daher höher gewesen. Das Valideneinkommen für 1998 beträgt damit mindestens Fr. 36'000.-.
c) Die berufliche Abklärungs- und Ausbildungsstätte Z._ hat für den Beschwerdegegner konkrete Arbeitsplätze abgeklärt (Bericht vom 23. März 1999). Ein Produktionsmitarbeiter (Mithilfe bei der Fertigung von Medikamenten) der Firma I._ AG erzielte im Jahre 1999 mit einem vollen Arbeitspensum Fr. 28'600.-. Ein Benzinstellenwart erhalte einen durchschnittlichen Stundenlohn von Fr. 17.-, was bei 2000 Arbeitsstunden pro Jahr mit einem Arbeitspensum von 100 % ein jährliches Einkommen von Fr. 34'000.- ergebe. Mit Anstellungen bei Bergbahnen oder als Hilfskondukteur sei ein durchschnittlicher Verdienst von ca. Fr. 2500.- pro Monat möglich, was bei einem vollen Arbeitspensum einem Jahreseinkommen von Fr. 32'500.- entspreche.
Die Einkommen seien alle sehr tief, da italienische Grenzgänger das Lohnniveau nach unten drückten. Das durchschnittliche Invalideneinkommen bei einer Leistung von 75 % belaufe sich auf Fr. 23'775.- pro Jahr.
Im vorliegenden Fall besteht kein Anlass, nicht auf diese im erweiterten Bereich des Wohnortes des Beschwerdegegners erhobenen, dem Anforderungsprofil und dem Leiden entsprechenden Arbeitsplätze abzustellen. Davon ist auch die Beschwerdeführerin in ihrer Verfügung vom 21. Juli 1999 ausgegangen und hat dem Beschwerdegegner 75 % und somit Fr. 23'775.-, entsprechend seiner Arbeitsfähigkeit von 75 %, als Invalidenlohn angerechnet. Sie hat indessen von diesem Einkommen keinen zusätzlichen Abzug vorgenommen. Ein so genannter leidensbedingter Abzug fällt vorab bei der Invaliditätsbemessung aufgrund von Tabellenlöhnen in Betracht, kann unter bestimmten Voraussetzungen aber auch bei der Festlegung des Invalideneinkommens aufgrund konkreter Arbeitsplatzerhebungen zur Anwendung gelangen (RKUV 1999 Nr. U 343 S. 414, 1998 Nr. U 304 S. 372). Hier rechtfertigt sich ein solcher Abzug. Die von der Abklärungs- und Ausbildungsstätte Z._ für konkrete Stellen erhobenen Löhne werden gesunden Arbeitnehmern bezahlt. Sodann stellte die Beschwerdeführerin nicht auf den tiefsten Lohn ab, sondern ermittelte einen Durchschnittswert. Zieht man neben der Behinderung noch in Betracht, dass der während zwanzig Jahren als Selbstständigerwerbender tätig gewesene Beschwerdegegner als Arbeitnehmer neu beginnen muss, rechtfertigt sich ein Abzug von insgesamt 10 %. Damit resultiert ein Invalideneinkommen von Fr. 21'397.-, wobei für das hier massgebende Jahr 1998 eher von einem noch tieferen Verdienst auszugehen ist. Bei Gegenüberstellung des Validen- (Fr. 36'000.-) und des Invalidenlohnes (Fr. 21'397.-) resultiert ein Invaliditätsgrad von knapp über 40 %. Im Ergebnis lässt sich daher der kantonale Entscheid für die Zeit ab 1. Januar 1998 nicht beanstanden. Es wird Sache der Beschwerdeführerin sein, die Voraussetzungen einer Härtefallrente zu prüfen.
4.- a) Zu beurteilen ist des Weitern der Anspruch des Beschwerdegegners in der Zeit vom 1. November 1994 bis
31. Dezember 1997. Nachdem die Beschwerdeführerin in ihrer Verfügung vom 21. Juli 1999 auch für diese Zeitspanne einen Rentenanspruch verneint hatte, anerkannte sie in der vorinstanzlichen Vernehmlassung für die Zeit vom 1. November 1994 bis 31. Oktober 1995 einen Anspruch auf eine halbe und ab 1. November 1995 bis 31. Dezember 1997 einen Anspruch auf eine ganze Rente und stellte in diesem Sinne Antrag.
Das kantonale Gericht ging darüber hinaus und sprach auch für den Zeitraum vom 1. November 1994 bis zum 31. Oktober 1995 eine ganze Invalidenrente zu. Zur Begründung führte es an, der Beschwerdegegner sei ab dem 1. November 1994 bis zum 5. Dezember 1994 sowie vom 1. Januar 1995 bis zum 31. Juli 1995 zu 50 % und vom 6. bis 31. Dezember 1994 sowie vom 1. August 1995 bis zum 31. Oktober 1995 zu 100 % arbeitsunfähig gewesen. Im Lichte der Rechtsprechung (<ref-ruling> Erw. 7) betrage die durchschnittliche Arbeitsunfähigkeit während eines Jahres 66,67 % (8 x 50 % = 400 %, 4 x 100 % = 400 %, : 12). Dieser Betrachtungsweise ist vorab entgegenzuhalten, dass bei einem Rentenbeginn ab
1. November 1994 die Arbeitsunfähigkeit während der Wartezeit von November 1993 bis November 1994 massgebend ist.
Hernach sind auch bei rückwirkend zugesprochenen abgestuften oder befristeten Invalidenrenten die für die Rentenrevision geltenden Bestimmungen (Art. 41 IVG und Art. 88a IVV) analog anzuwenden (<ref-ruling>; vgl. auch <ref-ruling> Erw. 2d; AHI 1998 S. 121 Erw. 1b).
b) Der Beschwerdegegner ist am 20. November 1993 im Stall ausgeglitten und anschliessend gestürzt. Er konsultierte am 24. November 1993 Dr. S._ wegen starken lumbalen Beschwerden. Seither stand er in ärztlicher Behandlung (vgl. auch die in Erw. 2a hievor aufgeführte Diagnose des Spitals Y._). Gemäss Dr. med.
S._ war der Beschwerdegegner vom 24. November 1993 bis 7. August 1994 zu 100 %, vom 8. August 1994 bis
5. Dezember 1994 zu 50 %, vom 6. bis 31. Dezember 1994 wiederum zu 100 %, vom 1. Januar 1995 bis 31. Juli 1995 zu 50 % und anschliessend ab 1. August 1995 zu 100 % arbeitsunfähig.
Daraus ergibt sich, dass der Beschwerdegegner während der einjährigen Wartezeit zwar durchschnittlich mehr als zu 66,67 % arbeitsunfähig war, nach Ablauf der Wartezeit am 20. November 1994 bis Ende Juli 1995 mit Ausnahme der kurzen Periode vom 6. bis 31. Dezember 1994 (100 %) immer 50 % arbeitsunfähig war. Für diese Zeitspanne kann daher keine Erwerbsunfähigkeit von mindestens zwei Dritteln im Landwirtschaftsbetrieb oder in einer zumutbaren leidensangepassten Tätigkeit als Arbeitnehmer angenommen werden. In Anwendung von Art. 88a Abs. 2 IVV ist der Beginn der ganzen Rente auf den 1. November 1995 festzusetzen, wie dies die Beschwerdeführerin zu Recht beantragt. Nicht bestritten ist die Dauer des Anspruchs auf eine ganze Invalidenrente bis 31. Dezember 1997.
5.- Bei diesem Ausgang des Verfahrens obsiegt die Beschwerde führende IV-Stelle lediglich für die Zeit vom 1. November 1994 bis 31. Oktober 1995. In Bezug auf den Rentenanspruch ab 1. Januar 1998 unterliegt sie. Unter diesen Umständen ist sie als lediglich einen Drittel obsiegend zu betrachten. Sie hat dem Beschwerdegegner eine reduzierte Parteientschädigung zu bezahlen. Im Übrigen kann dem Beschwerdegegner die unentgeltliche Verbeiständung bewilligt werden, da hiefür die Voraussetzungen erfüllt sind (vgl. Art. 152 OG). Es wird indessen ausdrücklich auf Art. 152 Abs. 3 OG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist. Schliesslich rechtfertigt der Verfahrensausgang keine Neuverlegung der kantonalen Parteikostenregelung.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde
wird der Entscheid des Verwaltungsgerichts
des Kantons Graubünden vom 9. Dezember 1999, soweit er
den Zeitraum vom 1. November 1994 bis zum 31. Oktober
1995 betrifft, aufgehoben, mit der Feststellung, dass
dem Beschwerdegegner für diese Periode eine halbe
Invalidenrente zusteht. Im Übrigen wird die Verwaltungsgerichtsbeschwerde
abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons Graubünden hat dem Beschwerdegegner für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine reduzierte Parteientschädigung
von Fr. 1900.- (einschliesslich Mehrwertsteuer)
zu bezahlen.
IV.Zufolge Gewährung der unentgeltlichen Verbeiständung wird Rechtsanwältin Karin Caviezel für das Verfahren vor dem Eidgenössischen Versicherungsgericht aus der
Gerichtskasse eine Entschädigung (einschliesslich
Mehrwertsteuer) von Fr. 600.- ausgerichtet.
V.Dieses Urteil wird den Parteien, dem Verwaltungsgericht
des Kantons Graubünden, der Ausgleichskasse
Graubünden und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 18. Februar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: