Zuständigkeit, hat sich ergeben:
A.- Im Rahmen von arbeitsmarktlichen Massnahmen kam der Kanton St. Gallen mit A._ (Kläger) im Frühjahr 1994 überein, dass dieser eine Computerinfrastruktur (Übungsfirma) für zehn bis zwölf arbeitslose Personen verwirkliche, wobei eine Vergütung pro Tag und Kursteilnehmer vorgesehen wurde. In der Folge wies das Kantonale Amt für Industrie, Gewerbe und Arbeit (KIGA) dem Kläger regelmässig Arbeitslose zum Besuch der angebotenen Kurse zu. Der Kläger baute die Kapazität auf Betreiben des KIGA auf fünfzehn bis siebzehn Plätze aus. Nach rund dreijähriger Zusammenarbeit wies das KIGA dem Kläger jedoch ab Juni 1997 erheblich weniger Teilnehmer zu. Schliesslich kündigte das KIGA das Vertragsverhältnis mit Schreiben vom 17. September 1997 zunächst auf Ende Januar 1998 und verlängerte dann die Kündigungsfrist bis zum 27. März 1998.
B.- Mit Eingabe vom 17. September 1999 reichte A._ beim Bezirksgericht St. Gallen Klage gegen den Kanton St. Gallen ein mit dem Rechtsbegehren, den Beklagten zur Zahlung von Fr. 246'128.-- nebst 5 % Zins seit 28. März 1998 zu verpflichten. Mit Entscheid vom 25. August 2000 trat das Bezirksgericht mangels sachlicher Zuständigkeit nicht auf die Klage ein. Das Gericht kam zum Ergebnis, dass der Kläger keine privatrechtlichen Ansprüche geltend mache, da zwischen den Parteien ein verwaltungsrechtlicher Vertrag abgeschlossen worden sei.
Der Kläger appellierte an das Kantonsgericht St. Gallen, das mit Entscheid vom 5. September 2001 das Rechtsmittel im Kostenpunkt guthiess und die Akten dem Eventualantrag des Klägers entsprechend zur allfälligen Entgegennahme der Eingabe vom 17. September 1999 als öffentlichrechtliche Klage, eventuell zur Übernahme des Prozesses an das Verwaltungsgericht überwies. Das Kantonsgericht kam ebenfalls zum Schluss, dass ein öffentlichrechtliches Vertragsverhältnis vorliege.
C.- Mit Berufung beantragt der Kläger dem Bundesgericht, das Urteil des Kantonsgerichts aufzuheben und die Streitsache an dieses zurückzuweisen mit der Anweisung, das Urteil des Bezirksgerichts aufzuheben und die Streitsache zur materiellen Behandlung an dieses zurückzuweisen; eventualiter die beiden kantonalen Entscheide aufzuheben und die Streitsache zur materiellen Beurteilung an das Bezirksgericht zurückzuweisen.
Der Beklagte schliesst auf Abweisung der Berufung, soweit auf sie einzutreten sei.
Das Bundesgericht zieht in Erwägung:
1.- a) Die Berufung ist zulässig in Zivilsachen bzw.
Zivilrechtsstreitigkeiten (Art. 44, 45 und 46 OG). Unter einer Zivilrechtsstreitigkeit versteht die Rechtsprechung ein kontradiktorisches Verfahren zwischen zwei oder mehreren natürlichen oder juristischen Personen in ihrer Eigenschaft als Trägerinnen privater Rechte oder zwischen solchen Personen und einer Behörde, die nach Bundesrecht die Stellung einer Partei einnimmt. Entscheidend ist dabei, dass die Parteien nach ihren Rechtsbegehren und Sachvorbringen Ansprüche des Bundeszivilrechts erhoben haben und ebensolche objektiv streitig sind (Art. BGE 124 III 44 E. 1; 123 III 346 E. 1a).
Als Zivilrechtsstreitigkeit gilt auch die Frage, ob bundesprivatrechtliche Ansprüche streitig sind (BGE 115 II 237 E. 1).
Die Vorinstanz hat verneint, dass der Kläger nach seinen Sachvorbringen privatrechtliche Ansprüche einklagt, und angenommen, seine Forderungen seien öffentlichrechtlicher Natur, während der Kläger die Ansicht vertritt, seine Ansprüche seien bundesprivatrechtlich; in diesem Sinne liegt hier eine Zivilrechtsstreitigkeit vor.
b) Die Berufung ist in der Regel erst gegen Endentscheide der oberen kantonalen Gerichte oder sonstigen Spruchbehörden zulässig, die nicht durch ein ordentliches kantonales Rechtsmittel angefochten werden können (Art. 48 Abs. 1 OG). Ein Endentscheid liegt nach der Rechtsprechung vor, wenn das kantonale Sachgericht über den im Streit stehenden Anspruch materiell entschieden oder dessen Beurteilung aus einem Grund abgelehnt hat, der endgültig verbietet, dass der gleiche Anspruch nochmals geltend gemacht wird (BGE 127 III 474 E. 1a; 126 III 445 E. 3b). Nichteintretensentscheide werden als Endentscheide im Sinne dieser Bestimmung betrachtet, falls sie einen Anspruch unter zivilrechtlichen Gesichtspunkten endgültig beenden, auch wenn eine öffentlichrechtliche Subsumtion noch aussteht (Leuch/Marbach/Kellerhals/Sterchi, Zivilprozessordnung für den Kanton Bern,
5. Aufl. , N. 2c zu Art. 194; Hans Peter Walter in AJP 1993 S. 1022). Im vorliegenden Fall hat die Vorinstanz endgültig verneint, dass der Kläger einen privatrechtlichen Anspruch geltend machen kann. Die Voraussetzung des Endentscheids im Sinne von Art. 48 Abs. 1 OG ist somit gegeben.
c) Da auch der gemäss Art. 46 OG erforderliche Streitwert erreicht wird, ist auf die Berufung einzutreten und zu prüfen, ob die Vorinstanz die privatrechtliche Natur der eingeklagten Ansprüche bundesrechtskonform verneint hat.
2.- Der Kläger hat sich im Vertrag mit dem Beklagten verpflichtet, eine sogenannte Übungsfirma für zehn bis zwölf, später fünfzehn bis siebzehn arbeitslose Personen einzurichten und die ihm vom KIGA im Rahmen arbeitsmarktlicher Massnahmen zugewiesenen Personen in Integrations- und Weiterbildungskursen zu unterrichten. Mit der Berufung wird gerügt, die Vorinstanz habe diesen Vertrag bundesrechtswidrig nicht als privatrechtlichen qualifiziert.
a) Die Abgrenzung bundesprivatrechtlicher Streitigkeiten von öffentlichrechtlichen ist in der Praxis kasuistisch geprägt (vgl. Corboz, Le recours en réforme au Tribunal fédéral, SJ 2000 II S. 19 f.; Münch, Prozessieren vor Bundesgericht, 2. Aufl. , Basel 1996, Rz. 4.8; Poudret, Commentaire de la loi fédérale d'organisation judiciaire, II, Bern 1990, Titre II N. 2.2). Es sind dafür verschiedene Theorien entwickelt worden, deren grundsätzliche Abgrenzungskriterien sich nicht ausschliessen und die im Einzelfall herangezogen werden, soweit sie sich am besten zur Lösung der konkreten Fragestellung eignen (vgl. BGE 126 III 431 E. 2c/bb; 120 II 412 E. 1b; 109 Ib 146 E. 1b). In Betracht fallen vornehmlich die auch Subjektionstheorie genannte Subordinationstheorie, welche das Gewicht auf die Gleich- oder Unterordnung der Beteiligten bzw. die Ausübung von hoheitlichem Zwang legt; daneben werden aber auch die Interessen- und Funktionstheorie herangezogen, die danach unterscheiden, ob private oder öffentliche Interessen verfolgt bzw. öffentliche Aufgaben erfüllt werden (Häfelin/Müller, Grundriss des Allgemeinen Verwaltungsrechts,
3. Aufl. , Zürich 1998, S. 50 f.; Hans Huber, Berner Kommentar, N. 120 ff. zu Art. 6 ZGB; Poudret, a.a.O., Titre II N. 2.2). Bei der Anwendung dieser theoretischen Kriterien ist dem Umstand Rechnung zu tragen, dass der Unterscheidung zwischen privatem und öffentlichem Recht ganz verschiedene Funktionen zukommen, je nach den Regelungsbedürfnissen und den Rechtsfolgen, die im Einzelfall in Frage stehen (BGE 109 Ib 146 E. 1b). Im vorliegenden Fall geht es nicht darum, bestimmte Gesetzesnormen als privat- oder öffentlichrechtlich zu qualifizieren, sondern eine Vertragsbeziehung dem privat- oder dem öffentlichrechtlichen Bereich zuzuordnen (vgl.
Poudret, a.a.O., Titre II N. 2.3.1).
b) Ein verwaltungsrechtlicher Vertrag lässt sich dadurch charakterisieren, dass er direkt die Erfüllung einer öffentlichen Aufgabe zum Inhalt hat oder dass er einen öffentlichrechtlich normierten Gegenstand betrifft, wie zum Beispiel Erschliessungen, Enteignungen oder Subventionen (vgl. Rhinow, Verfügung, Verwaltungsvertrag und privatrechtlicher Vertrag, in: Festgabe zum Schweizerischen Juristentag 1985, S. 303). Das Bundesgericht hat Verträge von Bauwilligen mit Gemeinwesen über die Erschliessung von Bauparzellen oder das Mandat an einen Anwalt, für eine unbemittelte Partei tätig zu werden, als öffentlichrechtlich qualifiziert (BGE 113 Ia 69 E. 6; 102 II 55 E. 1). Anderseits ist etwa die Vereinbarung des Schweizerischen Treuhänder-Verbandes mit der Schweizerischen Nationalbank über die Sorgfaltspflicht bei der Entgegennahme von Geldern nicht als öffentlichrechtlich erachtet worden (BGE 109 Ib 146 ff.). Ebenfalls als privatrechtlich wurden ein Vertrag der Eidgenossenschaft mit einer Beratungsfirma für Kommunikations- und Marketingaufgaben im Aktionsprogramm MICROSWISS und ein Vertrag der Stadt Genf mit Konsortialen zum Bau und Betrieb eines öffentlichen Schlachthauses im Baurecht angesehen (Urteile 4C.434/1994 vom 11. Juli 1995 und 4C.498/1996 vom vom 25. März 1997). Als wesentlich betrachtete das Bundesgericht in diesen zwei Urteilen, dass der Staat in der Regel privatrechtlich handelt, wenn er sich zur Erfüllung seiner öffentlichen Aufgaben die erforderlichen Hilfsmittel durch Kauf, Werkvertrag oder Auftrag beschafft. Ein Vertrag ist in diesen Fällen in der Regel nur dann als öffentlichrechtlich zu qualifizieren, wenn dem Privaten dadurch unmittelbar die Erfüllung der öffentlichen Aufgabe übertragen wird.
c) Nach den insoweit unbestrittenen Feststellungen im angefochtenen Urteil haben die Parteien den Vertrag im Rahmen der Durchführung arbeitsmarktlicher Massnahmen gemäss Art. 59 - 67 des Bundesgesetzes über die obligatorische Arbeitslosenversicherung und die Insolvenzentschädigung vom 25. Juni 1982 (AVIG; SR 837. 0) geschlossen. Nach dem Grundsatz in Art. 59 AVIG fördert die Versicherung durch finanzielle Leistungen die Umschulung, Weiterbildung oder Eingliederung von Versicherten, deren Vermittlung aus Gründen des Arbeitsmarktes unmöglich oder stark erschwert ist (Abs.
1); diese Massnahmen müssen die Vermittlungsfähigkeit verbessern (Abs. 3). Während die Leistungen der Versicherung an die Kursteilnehmer in Art. 60 und 61 AVIG geregelt sind, werden die Beiträge für Umschulungs- und Weiterbildungseinrichtungen in Art. 62 bis 64 AVIG normiert.
aa) Nach den Erwägungen im angefochtenen Urteil erschöpft sich die öffentliche Aufgabe im Zusammenhang mit den arbeitsmarktlichen Massnahmen nach Art. 59 ff. AVIG in deren Finanzierung. Die dem Kläger ausgerichteten Beiträge für Umschulungs- und Weiterbildungseinrichtungen nach Art. 62 AVIG können als solche nach Meinung der Vorinstanz nicht Gegenstand einer vertraglichen Abmachung sein. Dagegen besteht gemäss der Vorinstanz ein Bedürfnis nach Vereinbarungen im Hinblick auf die Rahmenbedingungen und die zahlreichen Anspruchsvoraussetzungen, welche das Gesetz an die Erbringung der finanziellen Leistungen knüpft. Grundlage solcher Abmachungen mit den Trägern von Umschulungs- oder Weiterbildungseinrichtungen ist dafür aber nach den Erwägungen im angefochtenen Urteil allein das öffentliche Recht.
bb) Der Kläger stellt nicht grundsätzlich in Frage, dass sich die öffentliche Aufgabe auch des Beklagten im Zusammenhang mit arbeitsmarktlichen Massnahmen in der Förderung durch finanzielle Leistungen erschöpft. Er vertritt jedoch den Standpunkt, die Argumentation der Vorinstanz entbehre der Grundlage, da er selbst nicht Beitragsempfänger gewesen sei. Er ist der Ansicht, der Beklagte bzw. dessen KIGA hätten in Tat und Wahrheit nicht ihm, sondern den Kursteilnehmern Kostenbeiträge zugesprochen, die im Interesse zweckentsprechender Verwendung direkt ihm als Kursveranstalter ausgerichtet worden seien. Er hält aus diesem Grund das Argument der Vorinstanz für hinfällig oder mindestens nicht zwingend, dass Grundlage für das Tätigwerden der Verwaltung beim Abschluss solcher Verträge ausschliesslich das öffentliche Recht sei.
cc) Die Vorinstanz geht zutreffend davon aus, dass die Ausrichtung von Subventionen zu den Materien gehört, die öffentlichrechtlich normiert sind. Die Subvention ist dadurch gekennzeichnet, dass sich der Empfänger in einer Weise verhält, die dem öffentlichen Interesse als Gegenleistung erscheint (BGE 126 II 443 E. 6c). Verträge im Bereich öffentlicher Finanzhilfe sind daher regelmässig als öffentlichrechtlich zu qualifizieren. Der Kläger bestreitet insofern nicht, dass die Beklagte arbeitsmarktliche Massnahmen der hier in Frage stehenden Art von Gesetzes wegen nicht selbst durchführt, sondern Kurse, wie sie der Kläger angeboten hat, bloss finanziell unterstützt. Der Beklagte beschafft sich in diesem Bereich daher von vornherein keinerlei Hilfsmittel zur Erfüllung einer öffentlichen Aufgabe, sondern richtet allein finanzielle Leistungen aus. Dies steht der Qualifizierung des zwischen den Parteien geschlossenen Vertrags als privatrechtlich entgegen.
dd) Gemäss Art. 62 AVIG können privaten Institutionen Beiträge an die Kosten der Durchführung von Kursen nach Art. 60 AVIG ausgerichtet werden. Das Gesetz unterscheidet damit systematisch zwischen den "Leistungen an Kursteilnehmer" (so die Marginalie von Art. 60 AVIG) und den Beiträgen nach Art. 62 AVIG, welche den Veranstaltern der Kurse als Leistungsempfänger ausgerichtet werden und die funktionell als Subventionen betrachtet werden können. Unter diesem Gesichtspunkt lässt sich der Vertrag zwischen den Prozessparteien zwanglos als öffentlichrechtlich qualifizieren. Aber selbst wenn der Vertrag zwischen dem Beklagten und dem Kläger so zu verstehen wäre, dass die von ihm angebotenen Kurse zugunsten der Kursteilnehmer als eigentliche Subventionsberechtigte Vertragsgegenstand gewesen wären, spricht die Art der Wahrung öffentlicher Interessen - allein durch finanzielle Leistungen - im hier interessierenden Bereich ebenfalls für die Qualifizierung des Vertrags als öffentlichrechtlich.
3.- Demnach hat die Vorinstanz das Vertragsverhältnis der Parteien und die vom Kläger daraus abgeleiteten Ansprüche zu Recht als öffentlichrechtlich qualifiziert. Die Berufung ist abzuweisen. Da die Überweisung der Sache an das Verwaltungsgericht im Übrigen keine bundesrechtlichen Fragen aufwirft und zudem vom Kläger auch nichts dagegen eingewendet wird, ist der angefochtene Entscheid zu bestätigen.
Dem Ausgang des Verfahrens entsprechend ist die Gerichtsgebühr dem Kläger aufzuerlegen (Art. 156 Abs. 1 OG).
Der durch einen Anwalt vertretene Beklagte ist vom Kläger für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 Abs. 1 und 2 OG).
Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen und der Entscheid des Kantonsgerichts St. Gallen, III. Zivilkammer, vom 5. September 2001 bestätigt.
2.- Die Gerichtsgebühr von Fr. 6'000.-- wird dem Kläger auferlegt.
3.- Der Kläger hat den Beklagten für das bundesgerichtliche Verfahren mit Fr. 7'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
_
Lausanne, 19. Februar 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: