Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Invaliditätsbegriff (<ref-law>), den Anspruch auf Eingliederungsmassnahmen im Allgemeinen (<ref-law>) und auf Massnahmen beruflicher Art im Besonderen (Art. 8 Abs. 3 lit. b in Verbindung mit Art. 15-18 IVG), namentlich auf Umschulung (Art. 8 Abs. 3 lit. b und Art. 17 IVG in Verbindung mit <ref-law>), richtig wiedergegeben. Zutreffend dargelegt wurde ferner, dass die den Anspruch auf Umschulung begründende Invalidität eine bleibende oder längere Zeit dauernde Erwerbseinbusse von etwa 20 % voraussetzt (AHI 1997 S. 80 Erw. 1b mit Hinweis; vgl. auch <ref-ruling> f. Erw. 2b mit Hinweisen) und lediglich ein Anspruch auf die dem jeweiligen Eingliederungszweck angemessenen und notwendigen Massnahmen besteht, welche eine annähernd gleiche Erwerbsmöglichkeit vermitteln sollen, nicht aber auf die nach den gegebenen Umständen bestmögliche Vorkehr (<ref-ruling> Erw. 3b/bb; ZAK 1992 S. 365 Erw. 1b; vgl. auch <ref-ruling> Erw. 2a mit Hinweisen; AHI 2000 S. 26 Erw. 2a). Darauf ist zu verweisen.
Gleiches gilt für die Erwägungen, wonach berufliche Massnahmen - wie alle Eingliederungsmassnahmen der Invalidenversicherung - nur unter der Voraussetzung gewährt werden, dass der Leistungsansprecher invalid oder von einer Invalidität unmittelbar bedroht ist (<ref-law>). Unmittelbarkeit liegt rechtsprechungsgemäss nur vor, wenn eine Invalidität in absehbarer Zeit einzutreten droht; sie ist dagegen nicht gegeben, wenn der Eintritt einer Erwerbsunfähigkeit zwar als gewiss erscheint, der Zeitpunkt des Eintritts aber ungewiss ist (<ref-ruling> f. Erw. 1a; vgl. auch <ref-ruling> Erw. 4 mit Hinweisen und AHI 2001 S. 229 Erw. 2c).
2.- Die Vorinstanz geht von einer Berufsunfähigkeit des Beschwerdegegners als Maurer aus und weist die Sache zur Prüfung der gesundheitlich bedingten Erwerbsunfähigkeit (<ref-law>), verstanden als das Unvermögen, auf dem gesamten für den Versicherten in Frage kommenden ausgeglichenen Arbeitsmarkt die verbleibende Arbeitsfähigkeit in zumutbarer Weise wirtschaftlich zu verwerten (<ref-ruling> Erw. 4b, 109 V 29), und möglicher beruflicher Eingliederungsmassnahmen (Berufsberatung, Umschulung) an die Beschwerdeführerin zurück. IV-Stelle und BSV halten demgegenüber dafür, dass der Beschwerdegegner - gestützt auf die Schlussfolgerungen des Gutachtens der Frau Dr. med.
Y._ vom 24. Oktober 2000 - weiterhin seine angestammte Tätigkeit als Maurer/Chauffeur ausüben könne und somit weder eine Invalidität noch eine unmittelbar drohende Invalidität vorliege.
3.- a) Mit ärztlichem Zeugnis vom 12. Januar 2000 führte Dr. med. Z._ aus, beim sich seit acht Jahren in seiner Behandlung befindenden Versicherten bestünden Rückenprobleme, die im letzten halben Jahr gehäuft aufgetreten und zu Dauerbeschwerden geworden seien. Aus medizinischen Gründen unterstütze er einen möglichst baldigen Arbeitswechsel.
Im Arztzeugnis vom 14. April 2000 gab er sodann auf die Frage, welche Tätigkeit der Versicherte noch ausüben könne, eine Arbeit mit beschränktem Heben und Tragen von Lasten unter 20 kg sowie ohne gebückte Haltung an.
Im Bericht vom 8. August 2000 nannte derselbe Arzt als Diagnose persistierende belastungsabhängige Rückenschmerzen bei Streckhaltung der LWS mit degenerativen Veränderungen der Intervertebral-Gelenke L4/5 und L5/S1 seit etwa 1995.
Er wies ferner darauf hin, dass das Heben schwerer Lasten und Arbeiten in gebückter Stellung jeweils schnell zu einer Verschlimmerung der gesundheitlichen Situation in Form von Rückenverspannungen und letztlich zu Arbeitsunterbrüchen führten, wie sie bereits vom 20. bis 24. Januar 2000 und auch davor öfters mehrere Tage zu 100 % bestanden hätten.
In einem geeigneten Beruf (kein Heben von schweren Lasten, konsequente Rückenhygiene) sollten die Beschwerden jedoch auf ein übliches Mass beschränkt und dem Versicherten eine vollumfängliche Arbeitsfähigkeit attestiert werden können.
Gestützt auf den anlässlich einer kurz zuvor durchgeführten MRI-Untersuchung erhobenen Befund diagnostizierte Frau Dr.
med. Y._ in ihrem Gutachten vom 24. Oktober 2000 ein belastungsabhängiges lumbales Schmerzsyndrom bei verminderter Lendenlordose und leichter Spondylolisthesis LWK 5 bei Lyse im Isthmus L5 links ohne wesentliche degenerative Veränderungen im LWS-Bereich und bei unauffälligem neurologischem Status. Als nicht mehr zu empfehlen stufte sie Tätigkeiten ein, welche ein häufiges Heben von Gewichten über 20 kg - ein gelegentliches Tragen von derartigen Lasten ein- bis zweimal täglich erachtete sie als zumutbar - oder längeres Arbeiten in gebückter Stellung beinhalteten. In seiner erlernten Beschäftigung als Maurer sowie als Chauffeur bescheinigte die Ärztin dem Beschwerdegegner im Zeitpunkt der Begutachtung noch keine Arbeitsunfähigkeit, führte jedoch aus, dass auf Grund der radiologischen Befunde jederzeit mit wiederholten Ausfällen, auf lange Dauer sogar mit einer Teilinvalidität in diesen Berufen zu rechnen sei.
b) Auf Grund der Angaben des Hausarztes steht fest, dass der Beschwerdegegner wegen Rückenproblemen, welche sich im Laufe des zweiten Halbjahres 1999 verstärkt hatten, sowohl einige Zeit im Januar 2000 wie auch schon zuvor während mehrerer Tage vollständig arbeitsunfähig war. Die derart dokumentierte Verschlechterung der Rückenbeschwerden deckt sich auch mit dem beruflichen Werdegang des Versicherten, der auf Grund seines Rückenleidens eine im Frühling 1999 als Chauffeur bei einer Molkerei aufgenommene Tätigkeit Ende Februar 2000 und eine anschliessend am 15. März 2000 begonnene Arbeit als Maurer am 19. Mai 2000 wieder aufgegeben hatte. Seither geht er keiner körperlich belastenden Beschäftigung mehr nach. Dr. med. Z._ wies denn auch bereits erstmals anfangs 2000 darauf hin, dass sich Tätigkeiten, welche ein Heben und Tragen von Lasten über 20 kg oder längeres Arbeiten in gebückter Stellung bedingten, ungünstig auf die gesundheitliche Situation auswirkten.
Zum gleichen Ergebnis gelangte auch Frau Dr. med.
Y._ in ihrem Gutachten vom 24. Oktober 2000, hielt sie doch ebenfalls ein wiederholtes Heben von Gewichten über 20 kg oder andauerndes gebücktes Stehen für nicht länger zumutbar.
In Anbetracht dieser ärztlichen Stellungnahmen erscheint die Annahme der Frau Dr. med. Y._, als Maurer und Chauffeur bestehe - wenn diese Tätigkeiten auch als ungünstig zu bezeichnen seien - aktuell noch keine Arbeitsunfähigkeit, als widersprüchlich. Es fragt sich, ob nicht - wie dies die Vorinstanz letztinstanzlich vernehmlassungsweise zutreffend dargelegt hat - die berufliche Situation eines Maurers/Chauffeurs insofern verkannt wird, als sich die besagten Tätigkeiten eben gerade durch die Notwendigkeit der übereinstimmend nicht mehr empfohlenen körperlichen Verrichtungen kennzeichnen und daher vermieden werden sollten. Es wird Aufgabe der IV-Stelle sein, an welche die Sache zurückzuweisen ist, sich mit dieser unklaren Sachlage zu befassen und nötigenfalls ergänzende medizinische Abklärungen zu veranlassen. Gestützt darauf wird sie darüber zu befinden haben, ob dem Beschwerdegegner eine leidensbedingte wesentliche Beeinträchtigung der Erwerbsfähigkeit zumindest unmittelbar droht. Bejahendenfalls wird sich im Weiteren die Frage stellen, ob der Versicherte im Rahmen der ohne zusätzliche berufliche Umschulung noch zumutbaren Verdienstmöglichkeiten eine gesundheitsbedingte Erwerbseinbusse von mindestens 20 % erleidet und somit die Erheblichkeitsschwelle bezüglich des Anspruchs auf Umschulung - nebst berufsberaterischen Massnahmen - erreicht ist (vgl. Erw. 1 hievor).
Das kantonale Gericht hat demnach im Ergebnis zu Recht auf Rückweisung der Sache an die IV-Stelle erkannt.
4.- Das Verfahren ist kostenlos (Art. 134 OG). Dem Ausgang des Verfahrens und dem anwaltlichen Arbeitsaufwand entsprechend hat die Beschwerdeführerin dem durch den Rechtsdienst für Behinderte der Schweizerischen Arbeitsgemeinschaft zur Eingliederung Behinderter (SAEB) vertretenen Beschwerdegegner eine Parteientschädigung auszurichten (Art. 159 Abs. 2 in Verbindung mit Art. 135 OG; SVR 1997 IV Nr. 110 S. 341 in Verbindung mit <ref-ruling> und ZAK 1987 S. 268 Erw. 5a).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird im Sinne der
Erwägungen abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle Bern hat dem Beschwerdegegner für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 500.- (einschliesslich
Mehrwertsteuer) zu bezahlen.
IV. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse des Kantons Bern und
dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 10. Juli 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Die Gerichtsschreiberin: