Sachverhalt:
A.
A.a. A._ (geb. 1964; Beschwerdeführer) und B._ (geb. 1976; Beschwerdegegnerin) sind die nicht verheirateten Eltern von C._ (geb. 2008) und D._ (geb. 2012), wobei die Parteien für C._ die gemeinsame elterliche Sorge hatten. Die jüngere D._ befand sich unter der alleinigen elterlichen Sorge der Mutter. Seit 2013 sind die Parteien getrennt. Die Kinder leben seither bei der Mutter. Die Kindes- und Erwachsenenschutzbehörde (KESB) errichtete eine Beistandschaft gemäss <ref-law>.
A.b. Aufgrund einer komplexen Besuchsrechtsstreitigkeit gab die KESB beim kantonalen Kinder- und Jugendpsychiatrischen Dienst ein Gutachten in Auftrag, welches am 7. Mai 2015 erstattet wurde. Es schlug die Alleinzuteilung der elterlichen Sorge an die Mutter vor und enthielt Empfehlungen zur Ausgestaltung des Besuchsrechts.
A.c. Anlässlich der Anhörung der Eltern zum Gutachten durch die KESB (18. Mai 2015) schlossen die Eltern eine Vereinbarung über das Besuchsrecht, welche die KESB mit Entscheid vom 22. Juli 2015 festhielt. Die Vereinbarung sah vor: 14-tägliches Besuchsrecht von Samstag 9.00 Uhr bis Sonntag 17.00 Uhr; Begleitung der Kindsübergaben durch Beiständin Frau E._; Verpflichtung des Kindsvaters, sich dem Grundstück der Kindsmutter nicht mehr als 100 Meter zu nähern und mit den Kindern proaktiv keinen Kontakt aufzunehmen (vgl. Kurzprotokoll der Anhörung vom 18. Mai 2015).
Trotz der Einigung focht der Beschwerdeführer die Besuchsrechtsregelung an und verlangte eine Neuregelung. Weiter beantragte er dem Verwaltungsgericht des Kantons Solothurn, das Gutachten sei für ungültig zu erklären und die Kosten für das Gutachten seien anstelle von den Parteien vom Gutachter zu tragen. Das Verwaltungsgericht wies die Beschwerde mit Urteil vom 23. November 2015 ab, soweit es darauf eintrat.
A.d. Gestützt auf das Gutachten wurde der Beschwerdegegnerin schliesslich die alleinige Sorge auch für C._ zugesprochen, was der Beschwerdeführer vor Bundesgericht vergeblich anfocht (vgl. Urteil 5A_89/2016 vom 2. Mai 2016).
B.
B.a. Anfang März 2016 beantragte der Beschwerdeführer bei der KESB parallel zu den teilweise noch laufenden weiteren Verfahren insbesondere die Aufhebung des Kontakt- und Rayonverbots, eine Ausdehnung der Besuche auf jeweils Freitag bis Sonntag, ein mindestens vierwöchiges Ferienrecht und zusätzlich Telefonkontakte. Es folgten weitere Eingaben und Anträge.
B.b. Am 14. November 2016 teilte die Beiständin der KESB mit, dass sie nicht mehr bereit sei, die Besuche zu begleiten, da es dem Beschwerdeführer nicht mehr gelinge, ihr gegenüber eine übliche Höflichkeit an den Tag zu legen, worauf die Beschwerdegegnerin die Sistierung des Besuchsrechts beantragte. Mit superprovisorischem Entscheid vom 23. November 2016 sistierte die KESB das Besuchsrecht.
B.c. Die KESB fasste die Eingabe von Anfang März 2016 mit den weiteren Anträgen des Beschwerdeführers zusammen und wies die Begehren mit Entscheid vom 20. Dezember 2016 ab (soweit nachfolgend relevant, insb. Antrag das Gutachten aus den Akten zu nehmen, Antrag Beistandschaft aufzuheben) oder trat nicht darauf ein (insb. Antrag das Rayons- und Kontaktverbot aufzuheben, Ausstandsbegehren gegen Anwältin der Beschwerdegegnerin). Das Besuchsrecht sistierte die KESB bis Ende 2016 und sie ordnete ab 1. Januar 2017 für ein halbes Jahr ein begleitetes Besuchsrecht von monatlich drei Stunden an, auszuüben bei F._. Die Beiständin wurde ersucht, die Besuche zu organisieren und bis 31. Mai 2017 Bericht zu erstatten, damit über das weitere Vorgehen entschieden werden könne. Einer allfälligen Beschwerde entzog die KESB die aufschiebende Wirkung.
B.d. Hiergegen erhob der Beschwerdeführer am 9. Januar 2017 Beschwerde an das Verwaltungsgericht des Kantons Solothurn. Er hielt an seinen Anträgen auf ein unbegleitetes 14-tägliches Besuchsrecht von Freitag 18.00 Uhr bis Sonntag 18.00 Uhr, einem Ferienrecht von vier Wochen sowie einer alternierenden Feiertagsregel fest. Als vorsorgliche Massnahme sei anzuordnen, dass er die Kinder 14-täglich unbegleitet sehen könne. Letzteres wies das Verwaltungsgericht mit Verfügung vom 3. Februar 2017 ab. Die Beschwerdegegnerin beantragte die Beschwerde abzuweisen. Am 21. März 2017 reichte der Beschwerdeführer ein Arztzeugnis von Dr. med. G._ vom 10. März 2017 nach und stellte mehrere Beweisanträge.
B.e. Mit Urteil vom 15. Mai 2017 wies das Verwaltungsgericht alle Beweisanträge und die Beschwerde ab und auferlegte dem Beschwerdeführer die Verfahrenskosten und eine Parteientschädigung zugunsten der Beschwerdegegnerin.
C.
C.a. Gegen dieses Urteil gelangt der Beschwerdeführer mit Beschwerde in Zivilsachen vom 15. Juni 2017 an das Bundesgericht. Er beantragt unter Kosten- und Entschädigungsfolgen (Zitat) :
"Es sei der Entscheid (...) aufzuheben, die Vorinstanz sei zur Bearbeitung der Sachverhalte, notwendig mit Einbezug der Kinder wie des Beschwerdeführers, anzuweisen, und das Besuchsrecht, wie vom Beschwerdeführer als Kindesschutzmassnahme beantragt, sei ohne weitere Verzögerung sofort umzusetzen."
C.b. Das Bundesgericht hat die Akten der Vorinstanz, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 1 S. 143; <ref-ruling> E. 1 S. 116; <ref-ruling> E. 1 S. 44; je mit Hinweisen).
1.2. Angefochten ist ein kantonal letztinstanzlicher Endentscheid (Art. 75 Abs. 1 und Art. 90 BGG) über eine Kindesschutzmassnahme, mithin über eine öffentlich-rechtliche Angelegenheit in unmittelbarem Zusammenhang mit Zivilrecht (Art. 72 Abs. 2 Bst. b Ziff. 6 BGG) ohne Vermögenswert. Der Beschwerdeführer ist nach <ref-law> zur Beschwerde berechtigt. Die Beschwerdefrist gemäss <ref-law> ist eingehalten. Die Beschwerde in Zivilsachen ist somit zulässig.
1.3. In rechtlicher Hinsicht sind im ordentlichen Beschwerdeverfahren alle Rügen gemäss Art. 95 f. BGG zulässig und das Bundesgericht wendet in diesem Bereich das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder das Rechtsmittel mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 2.3 S. 23 f.; <ref-ruling> E. 2.5 S. 262; je mit Hinweisen). Dabei ist das Bundesgericht grundsätzlich an den von der Vorinstanz festgestellten Sachverhalt gebunden (<ref-law>). Diesbezüglich kann einzig vorgebracht werden, dieser sei offensichtlich unrichtig festgestellt worden (<ref-law>) oder er beruhe auf einer anderen Rechtsverletzung im Sinne von <ref-law>. Hierfür wie auch für behauptete Verfassungsverletzungen gilt das Rügeprinzip (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 1.4.2, E. 1.4.3 S. 254 f.).
2.
2.1. Anfechtungsobjekt ist nur der Entscheid der Vorinstanz. Soweit der Beschwerdeführer direkt die Entscheide der KESB rügt, ist darauf nicht einzutreten.
2.2. Der Beschwerdeführer stellt blosse Aufhebungs- bzw. Rückweisungsanträge. Aus der Beschwerdebegründung, die für die Auslegung der Begehren beizuziehen ist (<ref-ruling> E. 1.2 S. 136), ergibt sich jedoch, wie das Bundesgericht das angefochtene Urteil inhaltlich abändern soll (<ref-law>). Er verlangt gemäss Rechtsbegehren in der Beschwerde an die Vorinstanz 14-tägliche (unbegleitete) Besuchswochenenden von Freitag, 18.00 Uhr, bis Sonntag, 18.00 Uhr, ein Ferienrecht von vier Wochen und eine alternierende Feiertagsregelung.
2.3. Neue Begehren, das heisst Begehren, mit denen die Vorinstanz nicht befasst war (<ref-ruling> E. 2 S. 121; <ref-law>) sind vor Bundesgericht nicht zulässig. Nicht einzutreten ist daher auf die sinngemässe Rüge des Beschwerdeführers, die KESB habe die Ausstandsvorschriften verletzt, als es innerhalb der KESB im Juni 2016 zu einem Wechsel in der Mandatsführung gekommen war. Da er solches in seiner an die Vorinstanz gerichteten Beschwerde vom 9. Januar 2017 nicht rügte, ist die Rüge in jedem Fall verspätet. Neu und nicht zu berücksichtigen sind sodann auch die Vorbringen (<ref-law>), die KESB habe nicht alle seine Eingaben erwähnt und schon gar nicht geprüft; es habe in der Zuständigkeit der KESB diverse Personenwechsel gegeben und der KESB fehle die Übersicht.
2.4. In der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>; <ref-ruling> E. 1.1 S. 104 f.). Unleserliche, ungebührliche, unverständliche, übermässig weitschweifige oder nicht in einer Amtssprache verfasste Rechtsschriften können zur Änderung an die Parteien zurückgewiesen werden (<ref-law>). Die vorliegende 60-seitige Beschwerde ist zumindest teilweise überaus weitschweifig. Sie besteht über weite Teile aus einer Aneinanderreihung bisheriger Eingaben des Beschwerdeführers an die involvierten Behörden und Gerichte inkl. Auflistung der dort gestellten Rechtsbegehren und Erörterung seiner Sicht der Dinge. Nichtsdestotrotz ist das Hauptanliegen des Beschwerdeführers leicht zu isolieren und klar: Er wehrt sich gegen die Anordnung des begleiteten Besuchsrechts. Das Bundesgericht verzichtet deshalb aus prozessökonomischen Gründen darauf, die Beschwerde zur Verbesserung an den Beschwerdeführer zurückzuweisen.
3.
3.1. Der Beschwerdeführer will vorab, dass das Gutachten nicht zur Beurteilung beigezogen, sondern aus dem Recht genommen wird. Dieses sei willkürlich resp. in seinen Worten "der Einbezug eines falschen Zeugnisses und ist kein Beweisdokument". Mehrmals findet sich in der Beschwerde ans Bundesgericht der Satz, der Gutachter "ignoriert mit vorliegendem Gutachten vom 7. Mai 2015 komplett, um was es eigentlich geht, was in der Dynamik abläuft, wo die Eltern selbst kompetent sind und was im Sinne der Kinder zu entscheiden ist". D as Problem sei die Kindsmutter, die ihm mit dem "Umgangsboykott" die Kinder entziehen wolle und die ihn, wie auch die Beiständin, die KESB und schliesslich der Gutachter, mit falschen Aussagen verleumde.
3.2. Bereits im bundesgerichtlichen Urteil vom 2. Mai 2016 (Sachverhalt A.d) wurde festgehalten, dass das 65-seitige Gutachten als sorgfältig und umfassend bezeichnet und darauf abgestützt werden kann, zumal die Darstellung des Gutachters mit derjenigen durch die Beiständin und die KESB übereinstimme und die Aussagen der Mutter ebenso ausführlich dargestellt werden wie die des Vaters (Urteil 5A_89/2016 E. 3). Wie damals festgehalten wurde, begründet es keine Willkür, wenn das Gutachten zu Schlussfolgerungen kommt, die nicht der väterlichen Eigenwahrnehmung entsprechen.
3.3. An dieser Einschätzung ändern auch die beiden vom Beschwerdeführer eingereichten Stellungnahmen von Prof. Dr. H._ vom 12. Juli 2016 und von Dr. I._ vom 6. Juni 2017 nichts, die beide zwar offenbar das Gutachten sahen, aber ansonsten ausschliesslich mit Informationen des Beschwerdeführers arbeiteten, also, soweit ersichtlich, weder mit den involvierten Fachpersonen und Behörden noch mit der Kindsmutter oder den Kindern selbst Kontakt hatten. Dr. I._ kritisiert zwar das Gutachten als einseitig. Gleichzeitig erklärt sie aber als zutreffend, dass sich die Eltern in einem bisher unlösbaren Machtkampf befänden, wobei sich zunächst C._ in einem Loyalitätskonflikt befinde, und dass ein gemeinsames Sorgerecht in einer so festgefahrenen Situation nur schwer durchzuführen sei. Die Stellungnahme von Prof. Dr. H._ wiederum besteht in einer kurzen E-Mail, in der er lediglich ausführt, er halte die nachteilige Beurteilung des Beschwerdeführers für problematisch und dass seiner Meinung nach die "participation individuelle" der Kinder ungenügend gewesen sei, weshalb er die Erstellung eines neuen Gutachtens empfehle. Nicht nur wird dabei der Name der Tochter fälschlicherweise mit J._ anstelle D._ angegeben, sondern auch übergangen, dass diese zur Zeit der Gutachtens noch nicht einmal drei Jahre alt war und einem individuellen Einbezug Grenzen gesetzt waren, ja insbesondere eine Anhörung klarerweise nicht angezeigt war. Insofern vermögen beide keine Zweifel an der Schlüssigkeit des Gutachtens zu erwecken. Ebensowenig kann der Beschwerdeführer etwas aus dem Bericht von Dr. med. G._ zu seinen Gunsten ableiten. Dieser hat gemäss der Feststellung der Vorinstanz das Gutachten nicht einmal gesehen.
3.4. Soweit der Beschwerdeführer weiter rügt, die Anwältin der Kindsmutter sei im Verwaltungsrat der Solothurner Spitäler, also eben dort wo der Gutachter angestellt sei, so hätte er gleich nach der Ernennung des Gutachters reagieren und allerspätestens in der Beschwerde an die Vorinstanz seine Kritik (noch einmal) vorbringen müssen. Da in der Beschwerde an die Vorinstanz vom 9. Januar 2017 mit keinem Wort ein Verdacht auf Befangenheit des Gutachters erwähnt wird, ist die Rüge in jedem Fall verspätet. Der Vorwurf schliesslich, ihm sei von Seiten eines Anwalts bestätigt worden, dass der betreffende Gutachter falsche Gutachten erstelle, bleibt blosse Behauptung.
3.5. Auf das Gutachten wird im Zusammenhang mit der konkreten Ausgestaltung des Umgangsrechts zurückzukommen sein.
4.
4.1. Der Beschwerdeführer rügt sinngemäss in mehrerer Hinsicht eine Verletzung des rechtlichen Gehörs. Der Beschwerdeführer ist der Ansicht, die Kinder, insbesondere der Sohn, seien nicht genügend in das Verfahren einbezogen worden, weshalb ihr Gehörsrecht verletzt und der Sachverhalt mangelhaft festgestellt worden sei. Er bestreitet zwar nicht, dass der Sohn vom Gutachter angehört worden ist. Er führt aber aus, das Gespräch habe anhand seiner Wahrnehmung nur vier Minuten gedauert, danach sei der Junge nie mehr angehört worden, obwohl die KESB eine Anhörung für den 6. Dezember 2016 vorgesehen habe, die dann aber verschoben und nie nachgeholt worden sei. Er habe eine gute Beziehung zum Sohn und dieser wolle ihn sehen. Er macht damit Ansprüche geltend, die zumindest teilweise formeller Natur sind, d.h. die im Falle ihrer Begründetheit unabhängig vom Einfluss auf das Ergebnis zur Aufhebung des angefochtenen Urteils und Rückweisung der Sache an die Vorinstanz führen würden.
4.1.1. Die Kindesanhörung wird für das Verfahren vor der Kindesschutzbehörde in <ref-law> und für eherechtliche Verfahren, in welchen die schweizerische Zivilprozessordnung anwendbar ist, in <ref-law> geregelt. <ref-law> und <ref-law> konkretisieren die Ansprüche aus <ref-law>, Art. 6 Ziff. 1 EMRK und Art. 12 KRK (Übereinkommen vom 20. November 1989 über die Rechte des Kindes, Kinderrechtskonvention; SR 0.107).
Die Anhörung des Kindes ist zum einen Ausfluss seiner Persönlichkeit und dient zum anderen der Sachverhaltsfeststellung. In seinem Leitentscheid zur Kindesanhörung ist das Bundesgericht davon ausgegangen, dass diese im Sinn einer Richtlinie ab dem vollendeten sechsten Altersjahr möglich ist, wobei es nicht ausgeschlossen ist, je nach den konkreten Umständen auch ein etwas jüngeres Kind anzuhören, etwa wenn bei Geschwistern das jüngere kurz vor dem genannten Schwellenalter steht (<ref-ruling> E. 1.2.3 S. 557). Während bei älteren Kindern der persönlichkeitsrechtliche Aspekt im Vordergrund steht und das Kind ein eigenes Mitwirkungsrecht hat, ist die Anhörung bei kleineren Kindern im Sinn eines Beweismittels zu verlangen (<ref-ruling> E. 1.1 S. 554 f.).
Unabhängig von der Anspruchsgrundlage des Anhörungsrechts kann eine mehrmalige Anhörung dort unterbleiben, wo sie einzig um der Anhörung willen stattfände, namentlich wenn sie für das Kind eine unnötige Belastung bedeuten würde, wie etwa bei akuten Loyalitätskonflikten, und überdies keine neuen Erkenntnisse zu erwarten wären (<ref-ruling> E. 4 S. 554 f.; zuletzt Urteil 5A_821/2013 vom 16. Juni 2014 E. 4, in: FamPra.ch 2014 S. 1115). Um eine solche Anhörung um der Anhörung willen zu vermeiden, besteht daher die Pflicht,ein Kind anzuhören, in der Regel nur einmal im Verfahren (Urteil 5A_299/2011 vom 8. August 2011 E. 5.2, in: FamPra.ch 2011 S. 1026 [Kindesschutz, Besuchsrecht]) und zwar grundsätzlich nicht nur auf die einzelne Instanz gesehen, sondern einschliesslich Instanzenzug (vgl. Urteile 5A_160/2011 vom 29. März 2011 E. 5.2.1, in: FamPra.ch 2011 S. 740 [Besuchsrecht]; 5A_352/2009 vom 8. September 2009 [Ehescheidung]; so auch YVO BIDERBOST, in: Peter Breitschmid/Alexandra Rumo-Jungo, Handkommentar zum Schweizer Privatrecht, Personen- und Familienrecht inkl. Kindes- und Erwachsenenschutzrecht, N. 4 zu <ref-law>). Ein Verzicht auf eine erneute Anhörung setzt allerdings voraus, dass das Kind zu den entscheidrelevanten Punkten befragt worden und das Ergebnis der Anhörung noch aktuell ist (<ref-ruling> E. 4 S. 555; Urteile 5A_821/2013 vom 16. Juni 2014 E. 4, in: FamPra.ch 2014 S. 1115; 5A_505/2013 vom 20. August 2013 E. 5.2.2; 5A_138/2012 vom 26. Juni 2012 E. 4; alle mit weiteren Hinweisen).
4.1.2. Zunächst steht fest, dass im Rahmen der Begutachtung beide Kinder in Interaktion mit jedem Elternteil beobachtet wurden. Weiter ist festzustellen, dass die Tochter der Parteien zum Zeitpunkt der Urteilsfällung durch die Vorinstanz noch nicht einmal fünf Jahre alt war, weshalb der Verzicht auf ihre Anhörung vorliegend nicht zu beanstanden ist. In Bezug auf den Sohn kann festgestellt werden, dass der Gutachter am 13. März 2015 nach der Interaktionsbeobachtung mit dem Vater auch alleine mit dem Kind sprach. Gemäss Zusammenfassung im Gutachten äusserte sich der Sohn dahingehend, dass er gerne beim Vater sei, dass er diesen vermisse und auch gerne bei ihm übernachten würde. Weder beim Vater noch bei der Mutter brachte der Junge Änderungswünsche vor. Wie lange das Gespräch dauerte spielt keine Rolle. Aus dem Gutachten geht weiter hervor, dass der Gutachter nach der Interaktionsbeobachtung am 7. April 2015 mit der Mutter ein weiteres Gespräch mit dem Jungen geplant hatte, dieser aber nicht wollte.
Aus den Akten geht hervor, dass die KESB im superprovisorischen Entscheid vom 23. November 2016 (Sachverhalt B.b) eine zusätzliche Anhörung der Eltern und des Jungen für den 6. Dezember 2016 angekündigt hatte, sie die Kinderanhörung aber absagte, nachdem sowohl der Kindsvater als auch die Kindsmutter Bedenken angemeldet hatten. Der Beschwerdeführer hatte sich insbesondere darüber beschwert, dass die Anhörung am Nikolaustag gewesen wäre und durch die KESB und nicht durch eine Fachperson seiner Vorstellung erfolgt wäre. Ein neues Datum wurde nicht angesetzt. Dieses ungeschickte Vorgehen der KESB ändert aber nichts daran, dass eine im Gutachten festgehaltene verwertbare, klare und in Bezug auf die Fragestellung weiterhin aktuelle Aussage des Kindes vorliegt. Der Beschwerdeführer zeigt denn auch nicht auf, was für neue Erkenntnisse eine neue Anhörung des Sohnes ergeben sollte. Es ist unbestritten, dass der Sohn den Vater sehen möchte. Hingegen kamen Gutachter und die Vorinstanzen zum Schluss, dass aufgrund des Verhaltens des Beschwerdeführers dennoch eine Einschränkung und Begleitung des Besuchsrechts angezeigt sei. Insofern ist das Resultat unabhängig von der Kindesbefragung. Eine Kindesanhörung um der blossen Anhörung Willen ist aber abzulehnen (vgl. E. 4.1.1). Darüber hinaus fand die Sichtweise der Kinder durch die vielen Eingaben ihres Vaters, der Mutter und aller miteinbezogenen Fachpersonen Eingang ins Verfahren, so dass weder eine Verletzung der Pflicht zur Sachverhaltsermittlung noch des Mitwirkungsrechts zur Diskussion steht.
4.2. Soweit der Beschwerdeführer moniert, er selbst sei nicht, resp. nicht rechtsgenüglich angehört worden, ist dies ebenfalls unbegründet. Der Beschwerdeführer wurde nicht nur vom Gutachter, sondern auch von der KESB mehrmals persönlich angehört (zuletzt am 20. Oktober 2016, 6. Dezember 2016; der streitgegenständliche Entscheid erging dann am 20. Dezember 2016). Der Beschwerdeführer ist sodann wiederholt sowohl von der KESB als auch vom Verwaltungsgericht zu Stellungnahmen eingeladen worden und nahm darüber hinaus diverse Male unaufgefordert und teilweise überaus ausführlich schriftlich Stellung, liess den Behörden Richtigstellungen und Ergänzungen seinerseits zukommen. Die Behörden waren mithin umfassend im Bilde über seine Ansichten und Version der Geschehnisse, so dass seinem rechtlichen Gehör Genüge getan ist (vgl. <ref-ruling> E. 3.3 S. 193 ff.).
4.3. Soweit der Beschwerdeführer beanstandet, die Vorinstanz sei nicht auf (alle) seine Anträge und Vorbringen eingegangen, ist die ebenfalls aus dem rechtlichen Gehör fliessende Begründungspflicht der Vorinstanz betroffen (zum Umfang der Begründungspflicht ausführlich <ref-ruling> E. 4.1 S. 88). Der Beschwerdeführer übergeht dabei, dass die Vorinstanz sehr wohl seine Argumente kurz geprüft und sich auch mit seinen Vorwürfen gegenüber der Beschwerdegegnerin auseinandergesetzt hat, diese aber im Resultat für nicht begründet oder nicht entscheidrelevant hielt. Angesichts der Anzahl und des Umfangs der Eingaben des Beschwerdeführers, mit welcher er die Vorinstanzen bedachte, ist umso weniger zu beanstanden, dass sich diese auf die wesentlichen Argumente beschränkten. Mit der getroffenen Besuchsregelung wurden sodann selbstredend sämtliche nicht mit dieser Lösung zu vereinbarenden Anträge des Beschwerdeführers abgewiesen. Auch die Rüge, die Vorinstanz sei ihrer Begründungspflicht nicht nachgekommen und habe Anträge ignoriert, ist damit unbegründet. Mangels Substanziierung gar nicht erst einzutreten ist auf den Vorwurf der Verletzung seines Mitwirkungsrechts und des Rechts auf Akteneinsicht.
5.
5.1. In der Sache verlangt der Beschwerdeführer insbesondere 14-tägliche Besuchswochenenden von Freitag, 18.00 Uhr, bis Sonntag, 18.00 Uhr, ein Ferienrecht von vier Wochen und eine alternierende Feiertagsregelung (Sachverhalt C.a, E. 2.2.). Er führt aus, ursächlich für die Problematik sei nicht etwa ein durch sein Verhalten verursachter oder verstärkter Loyalitätskonflikt, sondern alleine die Bindungsintoleranz der Beschwerdegegnerin und die von dieser vorgebrachten falschen Tatsachen, durch die ihn diese verleumde und ihn in seiner Persönlichkeit verletze. Es ist eine ganze Liste von Fehlverhalten, die er ihr vorwirft (unabgesprochener Weggang mit den Kindern, Kindergartenwechsel ohne Absprache, Verhindern der Kommunikation und Kooperation zwischen den Eltern sowie zwischen Vater und Kindern, Therapie des Sohns und Schulanmeldung ohne Angabe des - damals noch - gemeinsamen Sorgerechts, Vereitelung des Besuchsrechts und Ausgrenzung des Vaters bis hin zu Betrug und Kindesentführung u.a.). Die Anwältin der Beschwerdegegnerin sei jeweils nicht einmal auf seine Eingaben eingegangen oder habe immer wieder andere Gegenanträge gestellt. Diese wolle absichtlich einen Konflikt erzeugen und erhalten.
Er hingegen habe alles versucht, damit sich das Verhältnis zwischen ihm und der Beschwerdegegnerin beruhigen könne. Deshalb habe er auch Elterngespräche gefordert. Da die Beschwerdegegnerin nicht von sich aus dazu bereit gewesen sei, hätten die Behörden diese zu Elterngesprächen verpflichten müssen. Jede Kindesschutzmassnahme müsse darauf gerichtet sein die Eltern zu befähigen, ohne Kindesschutzmassnahmen zu leben, wobei die Elternautonomie auch gegen den Willen eines Elternteils wieder hergestellt werden müsse. Was ihm vorgeworfen werde, stimme alles nicht. Es habe weit über 50 sehr gut verlaufende Besuchswochenenden der Kinder bei ihm gegeben.
Die Beiständin habe den positiven Verlauf bestätigt und eine Ausdehnung in Aussicht gestellt. Nie habe es bei den Übergaben einen Vorfall gegeben, bei dem er ihr nicht höflich begegnet sei, wie behauptet werde. Diese habe denn auch gehandelt, ohne dass ihr Auftrag genau geklärt und definiert worden sei. Sie habe sich schwere Rechtsverstösse zu schulden kommen lassen und sei einer Klärung bezüglich des von ihr behaupteten Vorfalls, der zur Sistierung des Besuchsrechts geführt habe, ausgewichen. Er beschreibt dann, die Kinder seien bei der damaligen Übergabe verunsichert gewesen, weil der Mann der Beiständin wenige Meter entfernt beim Auto gewartet und sie beobachtet habe. Er, der Beschwerdeführer, habe die Beiständin höflich begrüsst, nur ihr die Hand nicht gegeben. Jedenfalls sei das ein weiterer Vorfall, der das willkürliche Handeln der Beiständin zeige. Aktuell könne die Beiständin zudem nichts mehr zum Besuchsverlauf sagen, da die Besuche bei F._ stattfänden. Er und die Kinder seien einfach die Opfer eines abgekarteten Spiels von Beschwerdegegnerin, deren Rechtsanwältin, Gutachter und Beiständin. Auch die Tätigkeit der KESB kritisiert der Beschwerdeführer in verschiedenster Weise, hierzu kann auf die bereits gemachten Ausführungen verwiesen werden.
5.2. Im Gutachten vom 7. Mai 2015 beschreibt Dr. med. K._ die Problematik zusammenfassend wie folgt: "Der unbewältigte Trennungs- und Verlustschmerz von Herrn A._, zusammen mit seinen narzisstischen, dominanten und zwanghaften Persönlichkeitszügen (...) führt mit den tendenziell ängstlich-unsicheren, aber auch kontrollierenden Persönlichkeitszügen von Frau B._ (...) zu einer malignen ›Kollusion‹, also einem unbewusst aufeinander abgestimmten Verhalten zweier Personen, welches sich gegenseitig negativ verstärkt." Aufgrund der akzentuierten Persönlichkeitsstruktur des Beschwerdeführers werde aus verdrängten Liebesgefühlen Hass, aus verdrängten Sehnsüchten ein Stalking-ähnliches Verhalten und aus Verlustschmerz ein Klammern an die Kinder und ein Instrumentalisieren des Jungen, den der Beschwerdeführer immer wieder in den Elternkonflikt verstricke und ihn als Zeuge benutze. Es sei psychopathologisch auffällig und besorgniserregend, dass der Beschwerdeführer sein diesbezügliches Verhalten in keiner Weise reflektieren und nicht begreifen könne, dass er den Loyalitätskonflikt des Sohns forciere. In diesem Punkt sei die Erziehungsfähigkeit des Beschwerdeführers deutlich eingeschränkt.
Der Beschwerdeführer scheine sich seit der Trennung 2013 dem Kampf um das Sorge- und Besuchsrecht verschrieben zu haben, wobei seither auch ein deutlicher Rückgang seiner beruflichen Tätigkeit als bildender Künstler zu vermerken sei. Er könne seine Bedürfnisse nicht von denjenigen der Kinder trennen. Vor allem zum Sohn scheine er eine starke Bindung zu haben, ja diesen quasi als erweiterten Teil von sich selbst wahrzunehmen und überfordere diesen mit seiner väterlichen Not. Auch bei gemeinsamen Elternentscheidungen, z.B. bezüglich Schule oder Therapie könne er nicht kindswohlkonform handeln, da er diese als Machtkampf auf der Paarebene austrage. Sein Verhalten gegenüber der Beschwerdegegnerin wirke obsessiv, indem er diese belagere und bedrücke. Wo die Behörden nicht nach seinen Vorstellungen arbeiteten, reagiere er mit Druck, Forderungen und auch Aggressivität.
Der Gutachter stellte weiter eine emotionale Bindung von beiden Kindern zum Beschwerdeführer fest. Dieser könne in Bezug auf körperliche Versorgung und Hygiene sowie Förderung von Freizeitaktivitäten für die Kinder sorgen. Beide Kinder verbrächten gerne Zeit mit beiden Elternteilen. Die hochkonflikthafte Elternsituation stelle für C._ aber eine grosse Überforderung dar, wobei der Beschwerdeführer den Loyalitätskonflikt durch sein forderndes und bedrängendes Verhalten deutlich mehr forciere. Es erzeuge beim Jungen einen psychischen Leidensdruck und daraus resultierende Verhaltensauffälligkeiten, die das Ausmass einer Anpassungsstörung hätten. Sein Wohl sei "deutlich und akut gefährdet". Er hielt eine kinderpsychotherapeutische Behandlung für angezeigt. Die Tochter wirke emotional weniger belastet als ihr älterer Bruder, wobei diese vom "Schutzschild" ihres älteren Bruders profitiere. Auch ihr Wohl sei ohne Veränderung der Situation bedroht. Dem Beschwerdeführer sei "dringend zu empfehlen, psychotherapeutische Unterstützung in Anspruch zu nehmen". Die zu dieser Zeit wöchentlich stattfindenden Besuche würden vor allem den Sohn zu stark fordern.
Vor diesem Hintergrund schlug der Gutachter die Besuchsregelung vor, welche die Parteien schliesslich mehr oder weniger in ihrer Vereinbarung vom 18. Mai 2015 übernahmen (Sachverhalt A.c; 14-tägliche Übernachtungen von Samstag auf Sonntag mit begleiteten Übergaben, Rayon- und Kontaktverbot). Für den Fall eines positiven Verlaufs machte er Vorschläge, wie die Besuche ausgedehnt werden könnten. Auch für einen allfälligen negativen Verlauf arbeitete der Gutachter Empfehlungen aus. Einen negativen Verlauf definierte er insbesondere durch ein unverändert hohes elterliches Konfliktniveau, und dadurch dass der Beschwerdeführer weiterhin seine Not dem Sohn überstülpe, er die Mutter weiterhin vor den Kindern abwerte und diese ihrerseits mit Kommunikationsverweigerung reagiere, er nicht bereit sei, sein Verhalten mittels therapeutischer Unterstützung zu reflektieren, das psychische Zustandsbild des Sohnes unverändert bleibe oder sich verschlechtere oder auch die Tochter Störungssymptone zu zeigen beginne. In einem solchen Fall empfahl der Gutachter, die Besuche unter Beibehaltung aller flankierenden Massnahmen auf ein Mal im Monat zu senken. Bei weiterhin ungünstigem Verlauf sollten die Besuche ein Mal pro Monat in einer fachlich begleiteten Situation mit anderen Vätern stattfinden. Bei noch weiter ungünstigem Verlauf erachtete er eine Sistierung der Besuche für vorläufig mindestens ein Jahr vonnöten, um die Kinder zu schützen.
5.3. Aus dem angefochtenen Urteil geht hervor, dass es bereits zwei Tage nach der Parteivereinbarung zum Besuchsrecht zu einem ersten Vorfall kam. Wenig später, am 2. Juni 2015, wandte sich die Beiständin an die KESB und teilte mit, sie befürchte eine Eskalation; das Wohl insbesondere des Jungen sei stark gefährdet und sie frage sich, ob nicht eine Reduktion der Besuche auf einmal pro Monat angebracht sei. Danach habe sich die Situation aufgrund des Wegzugs des Beschwerdeführers etwas beruhigt. Wie die Vorinstanz ausführt, habe aber in keiner Weise von einer nachhaltigen Entwicklung gesprochen werden können, als der Beschwerdeführer im März 2016 eine Ausdehnung des Besuchsrechts und vier Wochen Ferien verlangt habe. Die zahlreichen Vorfälle und Mails in den Akten zeichneten ein anderes Bild: Der Beschwerdeführer habe sich in unzähligen Mails und Eingaben gegen alles und jedes gewandt, um seinen "heiligen Krieg" fortzusetzen. Damit verstärke er den Loyalitätskonflikt noch, was insbesondere für das ältere Kind eine enorme Belastung darstelle. Vor allem aber habe er die wichtigste Empfehlung des Gutachters in den Wind geschlagen, eine psychotherapeutische Behandlung zu beginnen. Der Vorfall mit der Beiständin im November 2016 sei nur noch der Tropfen gewesen, der das Fass zum Überlaufen gebracht habe, womit eine Einschränkung der Besuche angezeigt sei.
5.4. Die Einschätzung der Vorinstanz, dass eine Verschlechterung der Situation gemäss Gutachten vorliegt und daher das Besuchsrecht zum Schutz der Kinder eingeschränkt werden muss, ist nicht zu beanstanden. In der Beschwerde an das Bundesgericht bestätigt der Beschwerdeführer selbst das Bild, das der Gutachter zeichnete (Verneinung eines Anteils am Konflikt, Abwälzung auf die Beschwerdegegnerin, Druckerzeugung und Stellen von Forderungen durch eine grosse Anzahl von Eingaben, aber auch Druckausübung auf einzelne Personen, z.B. die Beiständin, welche willkürlich gehandelt haben soll, ohne dass solches dargetan wird). Nach der Wahrnehmung des Beschwerdeführers haben sich alle anderen Involvierten gegen ihn (und gegen die Kinder) verschworen. Die Beschwerdegegnerin wird mit Vorwürfen lautend auf Persönlichkeitsverletzung, Verleumdung und gar Kindesentführung eingedeckt. Unbehelflich ist auch die Forderung, er selbst brauche keine Therapie, was es brauche seien nur Elterngespräche. Unabhängig davon, dass umstritten ist, wie weit Gespräche oder gar eine Mediation angeordnet werden kann, hat die Vorinstanz ihren Ermessensspielraum nicht verletzt, wenn sie solche vorliegend für nicht angezeigt erachtete, zumal gemäss vorinstanzlicher Feststellungen bereits diverse Gesprächsversuche gescheitert sind.
Nachdem das ältere Kind bereits Anzeichen einer Anpassungsstörung zeigt und mehrere der im Gutachten herausgearbeiteten Negativkriterien erfüllt sind, hat die Vorinstanz kein Bundesrecht verletzt, indem sie das Besuchsrecht auf vorerst ein Mal im Monat in begleitetem Rahmen einschränkte.
6.
Aufgrund des Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten wurde. Bei diesem Ausgang des Verfahrens muss der Beschwerdeführer für die Kosten des bundesgerichtlichen Verfahrens aufkommen (<ref-law>). Entschädigungen sind keine zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Kindes- und Erwachsenenschutzbehörde KESB Dorneck-Thierstein/Thal-Gäu und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 4. Dezember 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Die Gerichtsschreiberin: Friedli-Bruggmann