Zuständigkeit, hat sich ergeben: A.- Im Rahmen von arbeitsmarktlichen Massnahmen kam der Kanton St. Gallen mit A._ (Kläger) im Frühjahr 1994 überein, dass dieser eine Computerinfrastruktur (Übungsfirma) für zehn bis zwölf arbeitslose Personen verwirkliche, wobei eine Vergütung pro Tag und Kursteilnehmer vorgesehen wurde. In der Folge wies das Kantonale Amt für Industrie, Gewerbe und Arbeit (KIGA) dem Kläger regelmässig Arbeitslose zum Besuch der angebotenen Kurse zu. Der Kläger baute die Kapazität auf Betreiben des KIGA auf fünfzehn bis siebzehn Plätze aus. Nach rund dreijähriger Zusammenarbeit wies das KIGA dem Kläger jedoch ab Juni 1997 erheblich weniger Teilnehmer zu. Schliesslich kündigte das KIGA das Vertragsverhältnis mit Schreiben vom 17. September 1997 zunächst auf Ende Januar 1998 und verlängerte dann die Kündigungsfrist bis zum 27. März 1998. B.- Mit Eingabe vom 17. September 1999 reichte A._ beim Bezirksgericht St. Gallen Klage gegen den Kanton St. Gallen ein mit dem Rechtsbegehren, den Beklagten zur Zahlung von Fr. 246'128.-- nebst 5 % Zins seit 28. März 1998 zu verpflichten. Mit Entscheid vom 25. August 2000 trat das Bezirksgericht mangels sachlicher Zuständigkeit nicht auf die Klage ein. Das Gericht kam zum Ergebnis, dass der Kläger keine privatrechtlichen Ansprüche geltend mache, da zwischen den Parteien ein verwaltungsrechtlicher Vertrag abgeschlossen worden sei. Der Kläger appellierte an das Kantonsgericht St. Gallen, das mit Entscheid vom 5. September 2001 das Rechtsmittel im Kostenpunkt guthiess und die Akten dem Eventualantrag des Klägers entsprechend zur allfälligen Entgegennahme der Eingabe vom 17. September 1999 als öffentlichrechtliche Klage, eventuell zur Übernahme des Prozesses an das Verwaltungsgericht überwies. Das Kantonsgericht kam ebenfalls zum Schluss, dass ein öffentlichrechtliches Vertragsverhältnis vorliege. C.- Mit Berufung beantragt der Kläger dem Bundesgericht, das Urteil des Kantonsgerichts aufzuheben und die Streitsache an dieses zurückzuweisen mit der Anweisung, das Urteil des Bezirksgerichts aufzuheben und die Streitsache zur materiellen Behandlung an dieses zurückzuweisen; eventualiter die beiden kantonalen Entscheide aufzuheben und die Streitsache zur materiellen Beurteilung an das Bezirksgericht zurückzuweisen. Der Beklagte schliesst auf Abweisung der Berufung, soweit auf sie einzutreten sei.