Sachverhalt:
A.
A._ (geb. 1979) leidet an autistischen Einschränkungen. Er steht unter einer Vertretungsbeistandschaft mit Vermögensverwaltung. Als Beistand fungiert B._, welcher zum Freundeskreis der Familie gehört. A._ lebt in der Stiftung C._ in U._.
B.
Mit Schreiben vom 15. März 2019 beantragte B._ beim Friedensgericht des Seebezirks in dessen Funktion als KESB, die Zustimmung zur Kündigung des Vertrages mit der Stiftung C._ und zum Umzug von A._ in seine Institution "D._" in V._ zu erteilen und als Folge die Beistandschaft an die KESB Emmental zu übertragen.
Mit Entscheid vom 13. Mai 2019 wies das Friedensgericht nach Anhörung von A._ den Antrag ab und bestätigte dessen Aufenthalt in der Stiftung C._.
Die hiergegen erhobene Beschwerde wies das Kantonsgericht Freiburg in seiner Funktion als Kindes- und Erwachsenenschutzhof mit Urteil vom 20. August 2019 ab.
C.
Gegen dieses Urteil wurde am 16. September 2019 beim Bundesgericht eine Beschwerde erhoben mit den Begehren um dessen Aufhebung und Bewilligung, dass A._ die Stiftung C._ in U._ verlassen und seinen Aufenthaltsort in die Institution "D._" in V._ verlegen kann, unter Übertragung der Zuständigkeit für die Beistandschaft an die KESB Emmental. Es wurden keine Vernehmlassungen eingeholt, aber die kantonalen Akten beigezogen.

Erwägungen:
1.
Angefochten ist der kantonal letztinstanzliche Entscheid betreffend Aufenthaltsverlegung im Rahmen des Erwachsenenschutzrechts; die Beschwerde in Zivilsachen steht offen (Art. 72 Abs. 2 lit. b Ziff. 6, Art. 75 Abs. 1 und Art. 90 BGG).
Anders als im kantonalen Verfahren, wo der Beistand als Vertreter von A._, aber auch in eigenem Namen Beschwerde führte, wird die Beschwerde vor Bundesgericht durch den Rechtsanwalt gleichermassen im Namen von A._ und von B._ eingereicht. Ob jedoch A._ einen Beschwerdewillen, ja ob er überhaupt von der Beschwerdeeinreichung Kenntnis hat, scheint aufgrund der noch zu schildernden Umstände zweifelhaft, kann aber im Zusammenhang mit der Eintretensfrage offen bleiben. Indes wird bei der Kostenregelung zu berücksichtigen sein, dass der Beistand die treibende Kraft hinter der beabsichtigten Aufenthaltsverlegung ist und er diese, wie aus den Akten klar hervorgeht, auch eigenmächtig eingeleitet hat.
2.
Das Kantonsgericht ging von einem Interessenkonflikt aus, weil der Beistand den Verbeiständeten in seiner eigenen Institution unterbringen will. Dass der Interessenkonflikt zumindest abstrakt besteht, was rechtsprechungsgemäss genügt, ist augenfällig, wobei zur Begründung im Einzelnen auf die Erwägungen im angefochtenen Urteil ver-wiesen werden kann; daran ändert die beschwerdeweise Beteuerung des Beistandes nichts, er wolle nur das Beste für A._.
Weil demzufolge nicht B._ als Beistand über die Aufenthaltsverlegung entscheiden konnte (vgl. <ref-law>), hat sich das Kantonsgericht die Frage gestellt, ob die Erwachsenenschutzbehörde allenfalls einen Ersatzbeistand zu ernennen hätte oder ob sie die Sache selbst regeln könne (vgl. <ref-law>). Wie bereits das Friedensgericht ist das Kantonsgericht zum Schluss gekommen, dass angesichts der klaren Situation die Errichtung einer Ersatzbeistandschaft unverhältnismässig wäre.
Soweit in diesem Zusammenhang beschwerdeweise eine Verletzung von Bundesrecht geltend gemacht wird, ist diese nicht zu erkennen. <ref-law> eröffnet der Behörde ein Ermessen. Angesichts des klaren Sachverhaltes (dazu nachfolgend) war es naheliegend und zweckmässig, wenn das Friedensgericht direkt über die Frage der Aufenthaltsverlegung entschieden hat. Insofern wurde das Ermessen sachgerecht ausgeübt und ist keine Verletzung von Bundesrecht auszumachen.
Was den Umstand anbelangt, dass die Auflösung des Haushaltes bzw. die Kündigung der Wohnräumlichkeiten sowie der Dauervertrag für die neue Unterbringung, wie er erforderlich würde, der Zustimmung der Erwachsenenschutzbehörde bedarf (Art. 416 Abs. 1 Ziff. 1 und 2 ZGB), ist Folgendes zu bemerken: Die Zustimmung setzt ein vom Beistand für den Verbeiständeten gültig abgeschlossenes Rechtsgeschäft voraus, weil sie das Handeln des Beistandes nicht ersetzt (vgl. Urteil 5A_980/2014 vom 27. August 2015 E. 5.2). Dies macht aber nicht zwingend die Errichtung einer Ersatzbeistandschaft erforderlich, weil <ref-law> der Erwachsenenschutzbehörde die Wahl lässt, ermessensweise an der Stelle des Beistandes zu handeln; diesfalls übernimmt sie selbst die gesamte Verantwortung für das Geschäft und enthält ihr Handeln gleichzeitig die Zustimmung im Sinn von <ref-law> (MEIER, in: FamKomm Erwachsenenschutz, 2013, N. 15 zu <ref-law>; BIDERBOST/HENKEL, in: Basler Kommentar, 6. Aufl. 2018, N. 21 zu <ref-law>; HÄFELI, in: Kurzkommentar ZGB, 2. Aufl. 2018, N. 3 zu <ref-law>).
Die gegenteilige Behauptung in der Beschwerde, wonach im Bereich von <ref-law> die Errichtung einer Ersatzbeistandschaft zwingend sei, ist nach dem Gesagten nicht nur unzutreffend, sondern ihr haftet überdies etwas Treuwidriges an, weil sie in offensichtlichem Widerspruch zu den beschwerdeweise gestellten Rechtsbegehren steht, mit welchen nicht die Ernennung eines Ersatzbeistandes, sondern einzig die Zustimmung zur Aufenthaltsverlegung verlangt wird. Der Beistand und sein Rechtsanwalt gehen mithin selbst davon aus, dass das Bundesgericht die Frage der Aufenthaltsverlegung direkt regeln kann. Dies trifft zu, weil es sich bei der Beschwerde in Zivilsachen um ein reformatorisches Rechtsmittel handelt (vgl. <ref-law>). Das entsprechende Vorgehen war nach dem Gesagten aber bereits den kantonalen Instanzen möglich, umso mehr als sich die Kompetenzen im Rahmen des Rechtsmittelzuges nicht ausweiten lassen.
3.
In der Sache haben das Friedensgericht und sodann das Kantonsgericht auf folgenden Sachverhalt abgestellt:
Bei der Anhörung durch die Friedensrichterin hatte A._ auf die Frage, wie er zum Umzug stehe, geantwortet: "Der Beistand möchte, dass ich zu ihm gehe. Aber ich bin mir nicht sicher. Seine Frau erledigt auch vieles. Ich habe Angst, weil ich nicht weiss, wie es sein würde" und sodann "Ich weiss nicht, ob ich zu ihm wohnen gehen soll oder nicht. Ich wäre lieber in U._. Vielleicht ist der Beistand dann sauer, weil er mich nicht versteht." Auf die Frage, ob es ihm wichtig sei, dass B._ Beistand bleibe, antwortete er: "Meine Mutter möchte das schon." Im Übrigen ergab die Anhörung, dass es A._ in der C._ gut gefällt und er auch gerne dort arbeitet. Aktenkundig sind sodann die beiden Schreiben des vormaligen Psychiaters von A._ vom 7. Februar 2017 im Zusammenhang mit einem früheren Versuch des Beistandes, A._ in seiner eigenen Institution unterzubringen, und vom 1. April 2019 im Zusammenhang mit dem vorliegend zu beurteilenden Versuch. Im Schreiben vom 7. Februar 2017 gab er seiner Besorgnis Ausdruck, dass A._ durch das Ansinnen des Beistandes aus dem Gleichgewicht gekommen sei und Wutanfälle habe und dass der Beistand wie auch die Eltern von A._ einer Glaubensgemeinschaft angehörten, die als recht fordernd empfunden werden könne, weshalb die Prüfung einer Amtsbeistandschaft angezeigt wäre. Im Schreiben vom 1. April 2019 teilte er mit, dass er seine Tätigkeit per 31. März 2019 aufgegeben habe, dass aber offenbar der Aufenthaltswechsel wieder Thema sei und er deshalb erneut die Überprüfung einer Amtsbeistandschaft anregen möchte. Im Zusammenhang mit der vorliegend zu beurteilenden Aufenthaltsverlegung hatte sodann die Stiftung C._ dem Friedensgericht mit Schreiben vom 9. April 2019 mitgeteilt, dass A._ wegen der vom Beistand verfügten Kündigung des Wohn- und Arbeitsvertrages aufgewühlt sei, täglich darüber spreche und nicht sicher sei, ob dies der richtige Weg sei; er wolle aber niemanden verletzen. Sodann habe er sich darüber beklagt, dass er beim Beistand jeweils beten müsse.
Vor diesem Hintergrund gingen das Friedens- wie auch das Kantonsgericht davon aus, dass A._ es allen recht machen und niemanden verletzen möchte, dass es ihm aber im Rahmen der aktuellen Unterbringung gut geht und er sich wohl fühlt. Das Kantonsgericht verwies ferner auf die Feststellung des Friedensgerichtes, dass sich die Stabilität des gewohnten Umfeldes positiv auf das Wohlbefinden von A._ auswirke.
Der von der Vorinstanz festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (<ref-law>). Diesbezüglich kann nur eine willkürliche Sachverhaltsfeststellung gerügt werden, für welche das strenge Rügeprinzip gilt; auf ungenügend begründete Rügen und appellatorische Kritik kann das Bundesgericht hingegen nicht eintreten (Art. 97 Abs. 1 i.V.m. <ref-law>; <ref-ruling> E. 2.3 S. 266).
In der Beschwerde werden keine solchen Rügen erhoben, sondern es wird in rein appellatorischer Weise ein gegenteiliger Wille von A._ unterstellt und behauptet, dieser habe bei der Anhörung nicht das gesagt, was er wirklich wolle, weil er leicht zu beeinflussen sei und sich einerseits durch die Autorität der Friedensrichterin und andererseits durch die Anwesenheit eines Mitarbeiters der C._ habe beeindrucken lassen.
Diese Darstellung kann bereits aus formellen Gründen nicht gehört werden, weil wie gesagt keine Willkürrügen erhoben werden, aber sie hätte ohnehin auch von der Sache her nicht Bestand, weil die Äusserungen von A._ mit den Wahrnehmungen des Psychiaters und verschiedener Mitarbeiter der C._ übereinstimmen und deshalb kein Anlass besteht, sie ins Gegenteil zu verkehren. Dabei hilft auch die Behauptung nichts, die C._ generiere Einnahmen mit dem Aufenthalt von A._, denn dies trifft umso mehr auf die Absichten des Beistandes zu, welcher nicht nur Mitarbeiter, sondern Inhaber der Institution ist, in welcher er A._ unterbringen möchte.
Wenn der Beistand schliesslich Schreiben von Personen aus seinem Umfeld und dem Umfeld der Familie von A._ einreicht und diese auch als Zeugen anruft, damit sie den angeblich wirklichen Willen von A._ bezeugen können, ist darauf hinzuweisen, dass das Bundesgericht keine Beweismittel abnimmt (Urteile 5A_151/2018 vom 11. Juli 2018 E. 1.4; 5A_75/2018 vom 18. Dezember 2018 E. 1.4). In Zusammenhang mit der Kritik, bereits die Vorinstanz habe es abgelehnt, die entsprechenden Personen anzuhören, geht es um antizipierte Beweiswürdigung, welche Willkürrügen erfordern würde (<ref-ruling> E. 4.3.2 S. 376). Hierfür reichen bloss appellatorische Ausführungen nicht (siehe vorstehend).
Soweit schliesslich eine fehlende fachärztliche Beurteilung gerügt wird, erfolgt keine Darlegung, inwiefern ein entsprechender Beweisantrag bereits im kantonalen Verfahren gestellt worden wäre, womit das Anliegen als neu und damit unzulässig zu gelten hat (<ref-law>). Aber auch wenn über diesen prozessualen Mangel hinweggesehen würde, wäre weder eine Verletzung des Untersuchungsgrundsatzes gemäss <ref-law> noch eine Gehörsverletzung im Sinn von <ref-law> zu erkennen, da nicht ersichtlich ist, was ein Facharzt in Bezug auf die Feststellung des Willens von A._, umzuziehen oder eben nicht, beitragen könnte. Im Übrigen treten das Unbehagen und die Unruhe, welche die Umzugspläne des Beistandes bei A._ hervorrufen, klar zutage. Vor diesem Hintergrund ist eine "Begutachtung" des wirklichen Willens von A._, soweit sie überhaupt möglich wäre, nicht nur überflüssig, sondern sie dürfte ihn auch in einen belastenden Loyalitätskonflikt bringen, weil er es allen recht machen und niemanden verletzen möchte.
4.
Ausgehend von der erörterten Sachverhaltsfeststellung gingen das Friedens- wie auch das Kantonsgericht davon aus, dass keine Aufenthaltsveränderung angezeigt, sondern es im Interesse und zum Wohl von A._ ist, wenn er in seinem vertrauten Umfeld bleiben kann. Eine Verletzung von Bundesrecht ist in diesem Zusammenhang nicht erkennbar.
5.
Zusammenfassend ergibt sich, dass die Beschwerde offensichtlich unbegründet ist, soweit überhaupt auf sie eingetreten werden kann, weshalb im vereinfachten Verfahren nach <ref-law> zu entscheiden ist.
6.
Bei der Kostenauflage ist zu berücksichtigen, dass das Verfahren durch das eigenmächtige Handeln des Beistandes ausgelöst wurde und nicht im Interesse von A._ ist. Die Gerichtskosten sind deshalb nicht den Beschwerdeführern unter solidarischer Haftung, sondern ausschliesslich dem Beistand aufzuerlegen (Art. 66 Abs. 1 und 3 BGG). Das Familiengericht wird bei der periodischen Prüfung und Genehmigung der Rechnung (<ref-law>) oder im Rahmen der Prüfung der Schlussrechnung bei Errichtung einer Amtsbeistandschaft darauf zu achten haben, dass A._ im Zusammenhang mit dem vorliegenden Verfahren keinerlei Gerichts- oder Anwaltskosten belastet worden sind.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer 2 auferlegt.
3.
Dieses Urteil wird den Beschwerdeführern, dem Friedensgericht des Seebezirks und dem Kantonsgericht Freiburg, Kindes- und Erwachsenenschutzhof, schriftlich mitgeteilt.
Lausanne, 17. Oktober 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli