hat sich ergeben:
A.- A._ (Kläger) arbeitete vom 1. Februar 1996 bis zum 20. Januar 1998 im Bauunternehmen von X._ (Beklagter). Nach dem schriftlichen Arbeitsvertrag vom 31. Januar 1996 war der Kläger als "Bauarbeiter mit Ausbildung zum Baumaschinenführer während 2 Jahren" angestellt. Sein Aufgabenkreis sollte "Bauarbeiten aller Art" umfassen, und es war vorgesehen, dass er drei vom Ausbildungszentrum des Schweizerischen Baumeisterverbandes durchgeführte Kurse von je zwei Wochen Dauer besuchen würde, nämlich im Herbst/
Winter 1996 den Grundkurs Nr. 2710 an Kleingeräten, Fachrichtung Strassenbau, im Frühling 1997 den Grundkurs T1 Nr. 2741 für Pneu- und Raupenbagger sowie im Herbst 1997 den Weiterbildungskurs T 1 2726 für diese Geräte. Für das erste Dienstjahr wurde ein Monatslohn von Fr. 850.-- brutto vereinbart und für das zweite ein solcher von Fr. 1'150.--, jeweils zuzüglich 13. Monatslohn.
B.- Anfang November 1996 schloss der Kläger den Grundkurs Nr. 2710 an Kleingeräten, Fachrichtung Strassenbau, erfolgreich ab. Am 20. Januar 1998 lösten die Parteien das Arbeitsverhältnis im gegenseitigen Einvernehmen mit sofortiger Wirkung auf. Am gleichen Tag stellte der Beklagte dem Kläger eine Schlussabrechnung zu, und verlangte vom Kläger nach Abzug des Januarlohnes Fr. 2'929.45 für 611 Stunden, die der Kläger während der Anstellungsdauer zu wenig gearbeitet habe. Der Kläger war mit dieser Abrechnung nicht einverstanden und machte seinerseits geltend, der Beklagte habe ihn nicht entsprechend den gemäss Landesmantelvertrag für das Bauhauptgewerbe massgebenden Tarifen entlöhnt und habe ihm deshalb unter Berücksichtigung von 477 Fehlstunden noch Fr. 45'397.30 zu bezahlen. Eine Einigung kam nicht zustande.
C.- Am 3. März 1999 machte der Kläger seine Forderung gegen den Beklagten beim Arbeitsgericht Gossau hängig und verlangte pauschal Fr. 20'000.-- netto. Dieses Begehren präzisierte er auf Fr. 20'000.-- brutto, damit der Fall in die Zuständigkeit des Arbeitsgerichts fiel. Der Beklagte beantragte Abweisung der Klage und verlangte widerklageweise die Bezahlung von Fr. 2'929.45 nebst Zins. Das Arbeitsgericht wies die Klage am 20. Mai 1999 ab und hiess die Widerklage im Umfang von Fr. 2'143.95 nebst Zins gut. Auf Berufung des Klägers verpflichtete das Kantonsgericht St. Gallen den Beklagten am 21. Oktober 1999, dem Kläger Fr. 20'000.-- brutto nebst Zins zu bezahlen. Die Widerklage wies es ab.
D.- Gegen diesen Entscheid hat der Beklagte Berufung erhoben. Er beantragt im Wesentlichen, das angefochtene Urteil aufzuheben und das Urteil des Arbeitsgerichts zu bestätigen. Der Kläger schliesst auf Abweisung der Berufung, soweit darauf einzutreten ist, und Bestätigung des angefochtenen Entscheides.

Das Bundesgericht zieht in Erwägung:
1.- Beide Parteien sind sich einig, dass das Arbeitsverhältnis dem Landesmantelvertrag für das schweizerische Bauhauptgewerbe 1995-1997 (LMV 95-97) vom 20. Dezember 1994 untersteht, der am 17. Juli 1995 allgemein verbindlich erklärt worden ist (BBl 1995 III S. 747). Darin sind zwingende Mindestlöhne festgelegt, die für gewisse Kategorien von Arbeitnehmern je unterschiedliche Lohnklassen und Basislöhne vorsehen. Die unterste Lohnklasse C gilt für Bauarbeiter ohne Fachkenntnisse (Art. 41 ff. LMV 95-97, Art. 42). Diese Mindestlöhne gehören zu den normativen Bestimmungen, die zum Nachteil der Arbeitnehmer durch den Einzelarbeitsvertrag nur abgeändert werden können, soweit der Gesamtarbeitsvertrag einen entsprechenden Vorbehalt enthält (<ref-law>, vgl. Staehelin/Vischer, Zürcher Kommentar, N 11 zu <ref-law>). Eine derartige Öffnungsklausel (vgl. Stöckli, Berner Kommentar, N 15 zu <ref-law>) bildet Art. 45 LMV 95-97, der in gewissen Fällen von den vorgeschriebenen Mindestlöhnen abweichende Vereinbarungen zulässt, namentlich für branchenfremde Arbeiter. Unbestritten ist auch, dass der Kläger vor Arbeitsantritt über keine einschlägige Berufserfahrung verfügte und insofern branchenfremd war.
2.- Nach Auffassung des Kantonsgerichts wird der Arbeitnehmer nach einer gewissen Zeit mit den ihm zugeteilten Arbeiten vertraut und kann nicht mehr als branchenfremd gelten. Der Kläger habe nach neunmonatiger Arbeit für den Beklagten den Grundkurs Nr. 2710 an Kleingeräten, Fachrichtung Strassenbau erfolgreich abgeschlossen. Spätestens ab diesem Zeitpunkt sei er daher nicht mehr branchenfremd gewesen und habe Anrecht auf den im Landesmantelvertrag vorgesehenen Mindestlohn.
a) Der Beklagte ist der Ansicht, der Kläger sei bis zur Beendigung des Arbeitsverhältnisses als Branchenfremder anzusehen. Dies belegten die zahlreichen Schäden, die der Kläger bei seiner Arbeit verursacht habe, und seine generell mangelhafte Arbeitsleistung. Im Urteil des Kantonsgerichts finden sich keine Ausführungen zu den vom Kläger angeblich verursachten Schäden. Im Berufungsverfahren hat das Bundesgericht seiner Entscheidung die tatsächlichen Feststellungen der Vorinstanz als wahr und vollständig zugrunde zu legen (<ref-ruling> E. 3 S. 372, 120 II 97 E. 2b S. 99; <ref-ruling> E. 3; <ref-ruling> E. 2 S. 93, 480 E. 3d S. 489, 745 E. 3 S. 749 mit Hinweisen). Kritik an der Beweiswürdigung ist unzulässig. Ist eine Partei der Meinung, das kantonale Gericht habe den Sachverhalt unvollständig festgestellt, muss sie mit Aktenhinweisen darlegen, dass sie dem Gericht im kantonalen Verfahren die für den Entscheid wesentlichen Behauptungen und Beweisanerbieten prozesskonform unterbreitet hat (Art. 55 Abs. 1 lit. d, 63 und 64 OG; <ref-ruling> E. 2a S. 485 f.). Derartige Hinweise fehlen in der Berufungsschrift. Damit genügt der Beklagte seiner Begründungspflicht in Bezug auf eine Ergänzung des Sachverhalts nicht, weshalb seine Vorbringen unzulässig sind. Soweit der Beschwerdeführer seine Rügen auf eine tatsächliche Grundlage stützt, die über die Feststellungen der Vorinstanz hinausgeht, kann darauf nicht eingetreten werden. Das Kantonsgericht hält zudem zu Recht fest, dass die Frage, ob der Kläger nach neun Monaten Arbeit noch branchenfremd war, von der Frage, ob er seine Arbeit zur Zufriedenheit des Beklagten erledigte, zu trennen ist. Mangelhafte Arbeitsleistungen mögen bei schweren Verfehlungen zur vorzeitigen Vertragsauflösung berechtigen (<ref-law>), oder es können Schadenersatzansprüche entstehen (<ref-law>). Auch ein erfahrener Arbeiter kann indes unbefriedigende Leistungen erbringen. Dies ändert nichts daran, dass er Anspruch auf den im Landesmantelvertrag vorgesehenen Mindestlohn hat.
b) Der Beklagte verweist auf die im Landesmantelvertrag ebenfalls vorgesehene Ausnahme betreffend Lehrlinge, welche zeige, dass ein Anzulernender auch nach längerer Zeit noch branchenfremd sein könne. Er behauptet indes nicht, mit dem Kläger einen Lehrvertrag abgeschlossen zu haben. Er war überdies nicht berechtigt eine Lehrstelle anzubieten. Die im Landesmantelvertrag vorgesehene Ausnahme für Lehrstellen ist auf dieses spezielle Verhältnis zwischen Lehrling und Arbeitgeber zugeschnitten. Der Grund dafür, dass Lehrverhältnisse vom Geltungsbereich des LMV 95-97 ausgenommen sind, kann nicht darin gesehen werden, dass Lehrlinge während ihrer gesamten Ausbildungszeit branchenfremd im Sinne von Art. 45 LMV 95-97 seien. Es ist daher ohne Bedeutung, dass die Parteien mit einer Zeit von zwei Jahren rechneten, um dem Kläger berufsbegleitend die angestrebten Fachkenntnisse zu vermitteln.
c) Art. 45 LMV 95-97 sieht nicht ausdrücklich eine zeitliche Begrenzung für die Branchenfremdheit vor. Es ist indes offensichtlich, dass die Fremdheit in der Branche mit der Arbeitstätigkeit und der entsprechenden Vertrautheit mit den Erfordernissen und Gepflogenheiten zunehmend entfällt. Diesen Aspekt berücksichtigt auch Art. 42 LMV 95-97, der festhält, dass Bauarbeiter der Lohnklasse C nach drei Jahren grundsätzlich in die Lohnklasse B aufsteigen. Da der Kläger bereits neun Monate für den Beklagten arbeitete und zudem den besuchten Grundkurs erfolgreich abschloss, konnte das Kantonsgericht ohne Verletzung von Bundesrecht davon ausgehen, dass der Kläger nicht mehr branchenfremd war.
3.- Dass die Forderung des Klägers unter dieser Voraussetzung die eingeklagte Summe übersteigt, bestreitet der Beklagte nicht. Das angefochtene Urteil ist daher ohne weiteres zu bestätigen. Da die eingeklagte Forderung Fr. 20'000.-- nicht übersteigt, sind gemäss <ref-law> keine Kosten zu erheben. Dagegen hat der Beklagte dem Kläger die Parteikosten zu ersetzen.

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen und der Entscheid des
Kantonsgerichts (III. Zivilkammer) St. Gallen vom 21. Oktober 1999 wird bestätigt.
2.- Es werden keine Kosten erhoben.
3.- Der Beklagte hat dem Kläger für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4.- Dieses Urteil wird den Parteien und dem Kantonsgericht (III. Zivilkammer) St. Gallen schriftlich mitgeteilt.
_
Lausanne, 6. März 2000
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: