Sachverhalt:
A.
A._ (geb. 1962) und B._ (geb. 1975) sind die unverheirateten Eltern von C._ (geb. 2001) und D._ (geb. 2005). Sie wanderten im Januar 2002 nach Spanien aus. Im Juni 2011 zog die Mutter mit den Kindern in den Kanton Appenzell Ausserrhoden, der Vater verblieb in Spanien. Seither versucht er, über die Kindes- und Erwachsenenschutzbehörde nebst der Zuteilung der elterlichen Sorge die behördliche Festlegung des persönlichen Verkehrs zu erreichen.
B.
In dieser Angelegenheit reichte A._ am 8. Mai 2017 beim Obergericht Appenzell Ausserrhoden eine Beschwerde wegen Rechtsverzögerung bzw. Rechtsverweigerung ein.
Mit Schreiben vom 5. Juli 2017 teilte ihm das Obergericht mit, dass zwischenzeitlich das Kantonsgericht das ehemals bei der KESB hängige Verfahren betreffend Sorge- und Besuchsrecht übernommen und mit dem bereits vor Kantonsgericht hängigen Unterhaltsverfahren vereinigt habe. In Bezug auf die KESB sei das Rechtsverzögerungs- bzw. Rechtsverweigerungsgesuch somit gegenstandslos und in Bezug auf das erst seit Anfang Mai 2017 mit der Sache befasste Kantonsgericht sei noch keine Rechtsverzögerung gegeben, weshalb das Beschwerdeverfahren in nächster Zeit als gegenstandslos abgeschrieben werde.
Auf die hiergegen von A._ erhobene Beschwerde trat das Bundesgericht mit Urteil 5A_631/2017 vom 2. Oktober 2017 nicht ein mit der Begründung, dass ein blosses Schreiben angefochten und in diesem ein baldiger obergerichtlicher Entscheid in Aussicht gestellt sei, welcher alsdann angefochten werden könne.
Diesen Entscheid erliess das Obergericht am 2. November 2017. Es schrieb die Rechtsverzögerungs- bzw. Rechtsverweigerungsbeschwerde ab mit der Begründung, es sei kein aktuelles und praktisches Rechtsschutzinteresse an der Feststellung ersichtlich, weil nunmehr das Kantonsgericht zur Regelung des Besuchsrechts zuständig sei.
Gegen diesen Entscheid erhob A._ am 5. Dezember 2017 wiederum Beschwerde mit den Begehren um dessen Aufhebung und Feststellung einer Rechtsverzögerung sowie Erstellung eines begründeten Entscheides zur Umgangsregelung innert 30 Tagen. Mit Urteil 5A_981/2017 vom 18. Januar 2018 hiess das Bundesgericht die Beschwerde gut, hob den Entscheid des Obergerichts vom 2. November 2017 auf und wies die Sache im Sinn der Erwägungen zur Prüfung der geltend gemachten Rechtsverzögerung und neue Entscheidung an das Obergericht zurück.
Mit Entscheid vom 24. Juli 2018 beurteilte der Einzelrichter am Obergericht Appenzell Ausserrhoden die Rechtsverzögerungs- bzw. Rechtsverweigerungsbeschwerde von A._ bezüglich des Einzelrichters am Kantonsgerichts von Appenzell Ausserrhoden und wies diese ab.
C.
Gegen diesen Entscheid hat A._ am 14. September 2018 erneut Beschwerde erhoben mit den Begehren um Aufhebung von dessen Ziff. 1 (Abweisung Beschwerde) und Ziff. 3 (Absehen von einer Parteientschädigung) sowie um die Feststellung einer Rechtsverzögerung. Das Obergericht verzichtete am 24. September 2018 auf eine Vernehmlassung, während das Kantonsgericht am 2. Oktober 2018 eine solche erstattete.

Erwägungen:
1.
Die Beschwerde richtet sich gegen einen Entscheid der oberen kantonalen Instanz (<ref-law>), mit welchem eine behauptete Rechtsverzögerung im erstinstanzlichen Verfahren beurteilt wurde. Weil damit das hängige Hauptverfahren nicht beendet wird, gilt er als Zwischenentscheid im Sinn von <ref-law>. Es ist insofern von einem drohenden nicht wieder gutzumachender Nachteil gemäss <ref-law> auszugehen, als die geltend gemachte Rechtsverzögerung selbst mit einem für den Beschwerdeführer günstigen Endentscheid nicht behoben würde (Urteile 5A_915/2016 vom 12. April 2017 E. 2; 5A_460/2016 von 11. Januar 2017 E. 1.1). Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (<ref-ruling> E. 1.1 S. 382), bei der es namentlich um die elterlichen Sorge und den persönlichen Verkehr geht. Die Beschwerde in Zivilsachen steht somit offen (<ref-law>).
2.
Die Beschwerde hat eine Begründung zu enthalten, in welcher in gedrängter Form dargelegt wird, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>), was eine Auseinandersetzung mit der Begründung des angefochtenen Entscheides erfordert (<ref-ruling> E. 2 S. 116).
Im Bereich der Verfassungsrügen sowie Rügen in Bezug auf den für das Bundesgericht grundsätzlich verbindlichen Sachverhalt (<ref-law>) gelten strengere Voraussetzungen: Das hier Anwendung findende Rügeprinzip von <ref-law> bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik nicht eintritt (<ref-ruling> E. 2.4 S. 368).
Im Übrigen ist eine Beschwerde nur im Rahmen des Streitgegenstandes zulässig; soweit mehr oder anderes verlangt wird, kann darauf nicht eingetreten werden (<ref-ruling> E. 4.4.2 S. 156). Das trifft vor allem auf die vom Beschwerdeführer neu erhobene und damit unzulässige Rüge zu (<ref-law>), das Kantonsgericht habe sich auch in der Unterhaltsfrage eine Rechtsverzögerung vorwerfen zu lassen. Mit der beim Obergericht erhobenen Rechtsverzögerungsbeschwerde monierte er lediglich eine Rechtsverzögerung hinsichtlich der Regelung des persönlichen Verkehrs.
3.
Das Obergericht hat festgestellt, dass die Frage des Sorge- und Besuchsrechts ursprünglich vor der KESB hängig gewesen und die Akten am 9. März 2017 aufgrund der neuen Bestimmung von <ref-law> zuständigkeitshalber dem Kantonsgericht übermacht worden seien. Davon ausgehend hat das Obergericht in formeller Hinsicht erwogen, die Rechtsverzögerungsbeschwerde sei aus prozessualen Gründen in zwei Verfahren zu beurteilen. Die Frage, ob eine Rechtsverzögerung seitens der KESB vorliege, habe nach Art. 24 lit. b des kantonalen Justizgesetzes (JG) eine Abteilung des Obergerichts zu behandeln. Soweit Handlungen des Einzelrichters des Kantonsgerichts in Frage stünden, sei gemäss Art. 25 lit. b JG der Einzelrichter des Obergerichts zuständig. Im vorliegenden einzelrichterlichen Entscheid sei deshalb lediglich Prüfungsgegenstand, ob dem Einzelrichter des Kantonsgerichts eine Rechtsverzögerung vorzuwerfen sei.
Der Beschwerdeführer stellt den Zuständigkeitswechsel von der KESB auf das Kantonsgericht zufolge der auf den 1. Januar 2017 in Kraft getretenen Revision des Kinderunterhaltsrechts vom 20. März 2015 (AS 2015 4299; BBl 2014 529) nicht in Frage. Er bemängelt aber das Auseinanderfallen der Zuständigkeit für die Beurteilung einer allfälligen Rechtsverzögerung durch die KESB und jener durch den Einzelrichter am Kantonsgericht und verlangt eine einheitliche Feststellung einer Rechtsverzögerung der kantonalen Behörden.
Für die Organisation der Gerichte sowie die Regelung der sachlichen und funktionellen Zuständigkeit sind die Kantone zuständig, soweit das Gesetz nichts anderes vorsieht (<ref-law> und <ref-law>). Gestützt auf diese Organisationskompetenz weist der Kanton Appenzell Ausserrhoden die Zuständigkeit für Beschwerden gegen Entscheide der KESB und damit auch für gegen diese Behörde gerichtete Rechtsverzögerungsbeschwerden dem Obergericht als Kollegialgericht zu (Art. 66 Abs. 1 EG ZGB/AR; Art. 24 lit. b JG/AR). Die Zuständigkeit für Berufungen und Beschwerden gegenüber dem Einzelrichter oder der Einzelrichterin des Kantonsgerichts liegt demgegenüber beim Einzelrichter oder bei der Einzelrichterin des Obergerichts (Art. 25 lit. a JG/AR).
Die Verletzung kantonalen Rechts überprüft das Bundesgericht nur im Zusammenhang mit einer Verletzung verfassungsmässiger Rechte, wobei die Rüge im Vordergrund steht, dass das kantonale Recht willkürlich angewandt worden sei (<ref-ruling> E. 2.3 S. 231; <ref-ruling> E. 1.4 S. 254; <ref-ruling> E. 2.1 S. 372).
Der Beschwerdeführer ruft diesbezüglich zwar eine Verletzung von Art. 29 und 29a BV sowie von Art. 6 EMRK an. Inhaltlich bleiben die Ausführungen aber appellatorisch, indem er festhält, mit seiner Rechtsverzögerungsbeschwerde das Obergericht als solches angerufen und keine Aufteilung des Verfahrens gewünscht zu haben, welche den Prozess gewiss nicht vereinfache. Indes setzt er sich nicht im Einzelnen mit den Ausführungen im angefochtenen Entscheid auseinander, sondern macht abstrakt eine Zuständigkeit des Obergerichtes geltend und kritisiert ausserdem in genereller Weise die Missstände im Kanton Appenzell Ausserrhoden, welcher es während sieben Jahren nicht geschafft habe, sein letztlich nicht kompliziertes Anliegen zu regeln und ihn dadurch vom persönlichen Verkehr abschneide. Indem nicht aufgezeigt wird, inwiefern die im einschlägigen kantonalen Recht vorgesehene Aufsplittung der obergerichtlichen Beurteilungszuständigkeit gegen übergeordnetes Bundesrecht verstossen würde oder die betreffenden kantonalen Normen willkürlich angewandt worden wären (etwa, indem das Obergericht als Kollegialgericht eine einzelrichterliche Kompetenz an sich hätte ziehen können und dies aufgrund der konkreten Umstände vorliegend auch geboten gewesen wäre, weil sich nur so abklären lasse, ob ein Verfahren insgesamt verzögert werde, während die - im Übrigen erst im Anschluss an die bundesgerichtliche Rückweisung vorgenommene - Sequenzierung eine Gesamtbetrachtung in unhaltbarer Weise unterlaufe), ist auf die Vorbringen nicht einzutreten.
Hat aber das Obergericht (mangels hinreichend substanziierter Rügen) willkürfrei eine Aufteilung der Rechtsverzögerungsbeschwerde vorgenommen, ergibt sich daraus zwangsläufig, dass die Rechtsverzögerungsvorbringen in Bezug auf das KESB-Verfahren - welche den grösseren Teil der Beschwerde ausmachen - ausserhalb des durch den angefochtenen Entscheid definierten Streitgegenstandes stehen und folglich nicht im vorliegenden Beschwerdeverfahren vorgetragen werden können. Sie wären in einer separaten Beschwerde gegen den Abteilungsentscheid geltend zu machen, wobei unbekannt ist, ob ein solcher zwischenzeitlich erfolgt ist (aus dem angefochtenen Entscheid geht hervor, dass er in jenem Zeitpunkt noch anstand, vgl. S. 6 ganz am Ende).
4.
Zu beurteilen ist mithin die Zeitspanne zwischen der Übernahme des Dossiers durch das Kantonsgerichts bis zur Einreichung der Rechtsverzögerungsbeschwerde. Das Obergericht äussert sich zwar auch zur Phase danach; indes kann der zu beurteilende Sachverhalt nicht gewissermassen während des Verfahrens anwachsen, sondern wäre für den darauf folgenden Zeitablauf vielmehr ein neues Rechtsverzögerungsgesuch einzureichen.
Nach den Feststellungen des Obergerichtes erfolgte die Übersendung der Akten von der KESB an das neu zuständige Kantonsgericht am 9. März 2017. Nach weiteren Eingaben der Parteien verfügte dieses am 5. Mai 2017 die Vereinigung der Verfahren betreffend Kindesunterhalt sowie betreffend Sorge- und Besuchsrecht. Sodann erliess es am 18. Mai 2017 die Kostenvorschussverfügung. Dies war allerdings bereits nach Einreichen der Rechtsverzögerungsbeschwerde am 8. Mai 2017.
Der Beschwerdeführer legt nicht dar, inwiefern es vor diesem Hintergrund dieses Verfahrensablaufes während der rund zweimonatigen Hängigkeit des Verfahrens vor dem Kantonsgericht bis zur Einreichung der Beschwerde zu einer Rechtsverzögerung gekommen sein soll. Die Einzelrichterin am Kantonsgericht musste das neu anhängige Verfahren instruieren und hat dies während der betreffenden Zeitspanne auch getan.
5.
Der Standpunkt des Beschwerdeführers, welcher seit dem Jahr 2011 oder 2012 auf eine Entscheidung zum persönlichen Verkehr mit seinen Kindern wartet, ist insgesamt mehr als nachvollziehbar. Indes wird wie gesagt die Prüfung einer Rechtsverzögerung in Bezug auf das KESB-Verfahren Gegenstand eines separaten Entscheides des Obergerichtes sein und wäre für den weiteren Verlauf des Verfahrens vor dem Kantonsgericht eine neue Rechtsverzögerungsbeschwerde zu erheben, soweit nicht demnächst ein Entscheid in der Sache erfolgen sollte. Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist, soweit auf sie eingetreten werden kann.
6.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht Appenzell Ausserrhoden, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 19. März 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli