Arbeitsvertrag; Lohnanspruch; Überstunden, hat sich ergeben: A.- B._ war vom 19. Juli 1993 bis zum 31. August 1995 in der Bäckerei/Konditorei von A._ angestellt. Das Arbeitsverhältnis endete durch Kündigung des Arbeitgebers. In einem ersten Prozess klagte B._ vor Arbeitsgericht Gossau gegen A._ auf Lohn, Gratifikation und Feststellung, dass eine missbräuchliche Kündigung vorliege. Das Gericht hiess die Klage am 28. Juni 1996 im Umfang von Fr. 2'137.-- brutto teilweise gut. Gegen dieses Urteil führte der Kläger Berufung, welche vom Kantonsgericht am 10. Oktober 1996 abgewiesen wurde. B.- Am 26. August 1998 reichte B._ gegen A._ erneut eine Klage ein. Mit dieser forderte er die Bezahlung von Lohnguthaben sowie Überstunden- und Ferienentschädigung im Betrag von insgesamt Fr. 14'572. 65 nebst Zins. Das Arbeitsgericht Gossau wies die Klage am 20. Januar 1999 ab. Auf Berufung des Klägers hin hob das Kantonsgericht St. Gallen dieses Urteil am 6. Mai 1999 auf und wies die Sache zu neuer Entscheidung an das Arbeitsgericht zurück. Mit Urteil vom 6. August 1999 hiess das Arbeitsgericht die Klage im Umfang von Fr. 7'098. 80 nebst Zins teilweise gut. Das Kantonsgericht wies am 31. März 2000 eine gegen dieses Urteil gerichtete Berufung des Beklagten ab, erhöhte jedoch den zugesprochenen Betrag auf Grund der Anschlussberufung des Klägers auf Fr. 11'324. 30 nebst Zins. C.- Der Beklagte gelangt mit Berufung gegen dieses Urteil an das Bundesgericht. Er beantragt die vollumfängliche Abweisung der Klage. Der Kläger fordert die Abweisung des Rechtsmittels.