Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Im Beschwerdeverfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen ist die Überprüfungsbefugnis des Eidgenössischen Versicherungsgerichts nicht auf die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens beschränkt, sondern sie erstreckt sich auch auf die Angemessenheit der angefochtenen Verfügung; das Gericht ist dabei nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden und kann über die Begehren der Parteien zu deren Gunsten oder Ungunsten hinausgehen (Art. 132 OG).
2.- Die Vorinstanz hielt die IV-Stelle an, eine vertiefte und gesamtheitliche Abklärung des physischen und psychischen Gesundheitszustandes des Beschwerdegegners zu veranlassen und gestützt darauf die Auswirkungen auf die Arbeitsfähigkeit in dessen angestammten Tätigkeiten als gelernter X._ und angelernter Y._ und in der Folge eine allfällig nötige Umschulung zu prüfen. Sie hat ihren Entscheid auf Grund einer umfassenden Sachverhaltswürdigung sorgfältig begründet und das Eidgenössische Versicherungsgericht hat den vorinstanzlichen Erwägungen, auf welche verwiesen wird, nichts hinzuzufügen. In der Verwaltungsgerichtsbeschwerde werden keine Einwendungen vorgebracht, die zu einer anderen Beurteilung führen könnten. So ist der dem Sinne nach gemachte Hinweis, der den Rücken behandelnde Arzt habe die Rückenproblematik hinsichtlich einer Tätigkeit als Y._ nicht für limitierend gehalten, nicht richtig. Dr. med. S._, Spezialarzt FMH für Chirurgie, hat in seiner Stellungnahme vom 18. November 1999 gegenüber der Militärversicherung eine solche Aussage nicht gemacht. Er hat angegeben, beim Beschwerdegegner seien seit 1995 rezidivierende Rückenschmerzen bekannt und die Beschwerden hätten 1999 seit einem Unfall zugenommen.
Die MRI-Untersuchung habe den Befund einer Chondrose L5/S1 mit kleiner Diskushernie und zusätzlich einem kleinen Riss im Anulus fibrosus dorsali ergeben, was die Zunahme der Beschwerden erklärbar mache. Laut einem anonymen Aktenvermerk der Militärversicherung soll der Arzt anlässlich einer telefonischen Rückfrage an einem nicht genannten Tage erklärt haben, dass der Beschwerdegegner "auf dem allgemeinen Arbeitsmarkt durchaus vermittelbar" gewesen wäre. Aus einer solchen Aussage ohne zusätzliche Abklärungen zu schliessen, die diagnostizierten Rückenbeschwerden seien für eine Tätigkeit als Y._ nicht limitierend, ist nicht angängig.
Auch der Hinweis auf das zeitliche Nachhinken der IKEinträge ist unbehelflich. Schon aus den bis Mitte 1997 nachgeführten Einträgen geht hervor, dass die Angaben des Beschwerdegegners in seiner Berufsanamnese mit Vorsicht zu interpretieren sind, sind doch von Mitte 1993 bis Mitte 1997 nur 7 Beitragsmonate aus Arbeitsverdienst verzeichnet (letzter Monat: November 1995).
3.- Da die Verwaltungsgerichtsbeschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons Graubünden hat dem Beschwerdegegner für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von Fr. 2000.- (einschliesslich Mehrwertsteuer) zu
bezahlen.
IV.Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, der Ausgleichskasse des Kantons Graubünden und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 2. Juli 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: