Sachverhalt:
A.
A.a. B.A._ (geb. 1970; Beschwerdegegnerin) und A.A._ (geb. 1964; Beschwerdeführer) heirateten im Jahre 2000. Sie sind die Eltern der Tochter C.A._ (geb. 2002) und des Sohns D.A._ (geb. 2008). Am 23. Dezember 2013 hoben die Eheleute den gemeinsamen Haushalt auf.
A.b. Am 15. August 2013 ersuchte B.A._ das Bezirksgericht Horgen um Bewilligung der Trennung und Regelung des Getrenntlebens. Mit Urteil vom 9. Dezember 2014 nahm das Bezirksgericht von der Trennung Vormerk. Soweit hier noch von Bedeutung stellte es die Kinder unter die Obhut der Mutter und regelte das Besuchs- und Ferienrecht des Vaters. Dabei hielt es fest, dass zwischen Vater und Tochter derzeit keine Kontakte stattfänden. Eine bereits früher angeordnete Besuchsbeistandschaft führte das Bezirksgericht weiter. Sodann verpflichtete es A.A._ ab dem 1. Dezember 2013 für die Dauer des Getrenntlebens zur Zahlung von Unterhaltsbeiträgen an die Kinder von Fr. 1'800.-- im Monat, zuzüglich Kinder- und Ausbildungszulagen. Die Unterhaltsbeiträge für B.A._ setzte es fest auf monatlich Fr. 4'874.-- von Dezember 2013 bis März 2014, Fr. 4'679.-- von April 2014 bis April 2015 und Fr. 4'389.-- ab Mai 2015 für die Dauer des Getrenntlebens.
B.
B.a. Gegen diesen Entscheid reichte B.A._ Berufung beim Obergericht des Kantons Zürich ein.
B.b. Insbesondere mit Blick auf ein gegen A.A._ unter anderem wegen sexuellen Handlungen mit Kindern geführtes Strafverfahren - es wurde von der zuständigen Staatsanwaltschaft am 28. Juni 2016 wieder eingestellt - sistierte das Obergericht ab dem 24. April 2015 dessen Besuchsrecht.
Mit Beschluss vom 1. November 2016 hob das Gericht die Sistierung wieder auf und berechtigte A.A._, den Sohn alle vierzehn Tage für zwei Stunden begleitet zu besuchen. Die in Aussicht genommenen Besuchstage konnten in der Folge allerdings nicht umgesetzt werden.
B.c. Am 23. März 2017 ging beim Obergericht ein im Juli 2016 eingeholtes Fachgutachten (act. 9; datierend vom 16. Februar 2017) zur Frage des Besuchsrechts sowie der Erziehungsfähigkeit der Eltern ein.
B.d. Mit Eingabe vom 23. Mai 2017 ersuchte A.A._ das Obergericht im Sinne einer Kindesschutzmassnahme darum, der Mutter unter Einräumung eines Besuchsrechts die Obhut über die Kinder zu entziehen und ihm selbst zu übertragen. Ausserdem sei er zu ermächtigen, die Tochter in einem Internat in der Schweiz anzumelden; eventuell sei sie fremd zu platzieren.
B.e. Mit Beschluss vom 9. Oktober 2017 hielt das Obergericht fest, dass das Urteil des Bezirksgerichts teilweise in Rechtskraft erwachsen ist, namentlich bezüglich der Kindesunterhaltsbeiträge. Im Urteil von demselben Datum (eröffnet am 13. Oktober 2017) wies es die Anträge um Erlass von Kindesschutzmassnahmen ab (Dispositivziffer 1). Weiter verzichtete es auf die Festsetzung eines Besuchsrechts von A.A._ bezüglich der Tochter (Dispositivziffer 2). Das Besuchsrecht gegenüber dem Sohn sistierte das Obergericht bis Ende März 2018 (Dispositivziffer 3). Ab April 2018 erklärte es A.A._ für berechtigt, den Sohn in wachsendem Umfang zu besuchen (Dispositivziffer 4). Sodann führte das Gericht eine zuvor vorsorglich angeordnete umfassende Beistandschaft über die Kinder fort (Dispositivziffer 5). Die von A.A._ an B.A._ zu bezahlenden monatlichen Ehegattenunterhaltsbeiträge legte es neu fest auf Fr. 6'540.-- von Dezember 2013 bis März 2014, Fr. 6'350.-- von April 2014 bis Juli 2014, Fr. 6'490.-- von August 2014 bis Januar 2015, Fr. 6'650.-- von Februar 2015 bis April 2015 und auf Fr. 6'360.-- ab Mai 2015 für die weitere Dauer des Getrenntlebens (Dispositivziffer 6).
C.
Mit Beschwerde in Zivilsachen vom 13. November 2017 ist A.A._ an das Bundesgericht gelangt und hat in der Sache die folgenden Anträge gestellt:
"1. Dispositiv Ziffern 1., 2., 3., 4. und 6. des Urteils des Obergerichts [...] seien vollständig aufzuheben.
2. Es sei [B.A._] die Obhut über die Kinder C.A._ [...] und D.A._ [...] zu entziehen.
Es sei [A.A._] die Obhut über die Kinder C.A._ [...] und D.A._ [...] zuzuteilen.
3. Es sei [A.A._] zu berechtigen, C.A._ in einem Internat in der Schweiz anzumelden und es sei, sollte [B.A._] ihre Zustimmung dazu verweigern, die fehlende Zustimmung durch eine gerichtliche Anordnung zu ersetzen.
Eventualiter sei C.A._ in einer Pflegefamilie fremd zu platzieren.
4. Es sei [B.A._] auf eigene Kosten ein begleitetes Besuchsrecht für C.A._ und D.A._ einzuräumen.
5. Es sei [A.A._] zu berechtigen, den Sohn D.A._ ab sofort jeden zweiten Samstagnachmittag von 14.00 Uhr bis 17.00 Uhr (begleitet) zu sich oder mit sich auf Besuch zu nehmen.
Es sei über diesen Antrag als vorsorgliche Massnahme [...] zu entscheiden.
6. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen."
Am 14. November 2017 hat das Bundesgericht das Gesuch um vorsorgliche Wiederaufnahme des Besuchsrechts abgewiesen. Mit Eingaben vom 22. Februar und vom 15. März 2018 verzichten das Obergericht und die Kindesvertreterin auf eine Vernehmlassung. Ebenfalls am 15. März 2018 beantragt B.A._ die Beschwerdeabweisung. Diese Eingaben sind A.A._ zur Kenntnisnahme zugestellt worden. Im Übrigen hat das Bundesgericht die Akten des kantonalen Verfahrens eingeholt.
Erwägungen:
1.
1.1. Angefochten ist ein Endentscheid (Art. 90 BGG) einer letzten kantonalen Instanz, die als oberes Gericht (Art. 75 BGG) über die Regelung des Getrenntlebens der Ehegatten und Kindesschutzmassnahmen entscheiden hat, mithin über Zivilsachen und öffentlich-rechtliche Angelegenheiten in unmittelbarem Zusammenhang mit dem Zivilrecht (Art. 72 Abs. 1 und Abs. 2 Bst. b Ziff. 6 BGG). Strittig sind neben dem Ehegattenunterhalt die Obhut über die Kinder - verstanden als "faktische" Obhut im Sinne der Befugnis zur täglichen Betreuung der Kinder und zur Ausübung der Rechte und Pflichten im Zusammenhang mit deren Pflege und Erziehung (BGE 142 III 612 E. 4.1; 617 E. 3.2.2) - und das Recht der Eltern auf persönlichen Verkehr. Die Beschwerde unterliegt damit insgesamt keinem Streitwerterfordernis (vgl. statt vieler Urteil 5A_627/2016 vom 28. August 2017 E. 1.2). Der Beschwerdeführer ist gemäss Art. 76 Abs. 1 BGG zur Beschwerde berechtigt und die Beschwerdefrist ist eingehalten (Art. 100 Abs. 1 BGG). Auf die Beschwerde ist vorbehältlich nachfolgender Ausführungen einzutreten.
1.2. Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (Art. 42 Abs. 1 BGG). Soweit es auf einen Geldbetrag lautet, muss es beziffert sein. Fehlt es an einem hinreichend bezifferten Begehren, ist auf die Beschwerde nicht einzutreten (BGE 143 III 111 E. 1.2; 134 III 235 E. 2). Trotz formell mangelhaftem Begehren ist die Beschwerde ausnahmsweise dennoch an die Hand zu nehmen, wenn sich aus der Begründung, allenfalls in Verbindung mit dem angefochtenen Entscheid, ergibt, welcher Geldbetrag zugesprochen werden soll (BGE 134 III 235 E. 2; Urteil 5A_275/2017 vom 2. Oktober 2017 E. 1.2; vgl. auch BGE 137 III 617 E. 6.2). Ansonsten reicht ein nicht bezifferter Antrag nur aus, wenn das Bundesgericht im Falle der Gutheissung der Beschwerde in der Sache nicht selbst entscheiden könnte (vgl. BGE 134 III 379 E. 1.3). Dies gilt auch bei Unterhaltsbegehren (Urteil 5A_986/2017 vom 14. Dezember 2017 E. 3).
Der Beschwerdeführer beantragt die Aufhebung des angefochtenen Urteils bezüglich des Ehegattenunterhalts. Er äussert sich jedoch nicht dazu, auf welchen Betrag der Unterhalt neu festzusetzen sei. Weder stellt er hierzu einen Antrag, noch finden sich in der Beschwerdebegründung entsprechende Ausführungen. Dort gibt er zwar an, welche Bedarfspositionen der Beschwerdegegnerin das Obergericht willkürlich festgesetzt habe. Er äussert sich aber nicht dazu, wie sich dies im Einzelnen auf die Unterhaltsbeiträge auswirken soll. Damit fehlt es an einem hinreichend bezifferten Begehren, sodass auf die Beschwerde insoweit nicht einzutreten ist.
1.3. Eheschutzentscheide unterstehen Art. 98 BGG (BGE 133 III 393 E. 5), weshalb nur die Verletzung verfassungsmässiger Rechte gerügt werden kann (BGE 133 III 585 E. 4.1). Dies gilt auch bezüglich der im Rahmen des Eheschutzverfahrens getroffenen Massnahmen des Kindesschutzes (vgl. Urteil 5A_648/2012 vom 3. Dezember 2012 E. 1.2.2). Es findet das strenge Rügeprinzip nach Art. 106 Abs. 2 BGG Anwendung. Die rechtsuchende Partei muss daher präzise angeben, welches verfassungsmässige Recht durch den angefochtenen Entscheid verletzt wurde, und im Einzelnen darlegen, worin die Verletzung besteht. Das Bundesgericht prüft nur klar und detailliert erhobene und soweit möglich belegte Rügen. Auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (BGE 141 IV 249 E. 1.3.1; 140 III 264 E. 2.3 S. 266). Die Begründung hat in der Beschwerdeschrift selbst zu erfolgen; der blosse Verweis auf Ausführungen in anderen Rechtsschriften und Akten genügt nicht (BGE 141 V 416 E. 4; 140 III 115 E. 2). Im vorliegenden Eheschutzverfahren kommt auch eine Berichtigung oder Ergänzung der Sachverhaltsfeststellungen nur in Frage, wenn die kantonale Instanz verfassungsmässige Rechte verletzt hat (BGE 133 III 393 E. 7.1; 585 E. 4.1), was die rechtsuchende Partei wiederum präzise geltend zu machen hat (Art. 106 Abs. 2 BGG).
Der Beschwerdeführer legt ausführlich dar, weshalb es willkürlich sein soll, der Beschwerdegegnerin die Obhut über die Kinder zu belassen (vgl. hinten E. 4). Sodann verlangt er, es seien Betreuung und Pflege der Kinder ihm selbst zu übertragen, sobald der Beschwerdegegnerin die Obhut entzogen werde. Mit den Ausführungen des Obergerichts dazu, weshalb ihm die Obhut nicht übertragen werden könne (ungenügende Beziehungsbasis zwischen Vater und Kindern), setzt er sich nicht auseinander. Nicht ausreichend ist es sodann, für die weitere Begründung auf die Ausführungen im vorinstanzlichen Verfahren zu verweisen, wie der Beschwerdeführer dies tut. Die Beschwerde ist damit soweit die Obhutszuteilung an den Beschwerdeführer betreffend ungenügend begründet. Das Gleiche gilt bezüglich des Antrags, es sei der Beschwerdegegnerin ein begleitetes Besuchsrecht einzuräumen. Insoweit verweist der Beschwerdeführer allein auf seine Ausführungen im obergerichtlichen Verfahren. Gänzlich unbegründet bleibt sodann der Antrag, der Beschwerdeführer sei berechtigt zu erklären, die Tochter in einem Internat anzumelden, bzw. sei diese eventuell bei einer Drittperson zu platzieren. Zusammenfassend ist in dem genannten Umfang mangels (ausreichender) Begründung auf die Beschwerde nicht einzutreten.
2.
2.1. Der Beschwerdeführer rügt, die Vorinstanz sei in Willkür (Art. 9 BV) verfallen, weil sie die Obhut über die Kinder bei der Beschwerdegegnerin belassen hat. Nach ständiger Rechtsprechung des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 142 II 369 E. 4.2; 140 III 167 E. 2.1).
2.2. Für die Zuteilung der (faktischen) Obhut an einen Elternteil im Eheschutzverfahren gelten grundsätzlich dieselben Kriterien wie im Scheidungsfall. Das Wohl des Kindes hat Vorrang vor allen übrigen Überlegungen, insbesondere vor den Wünschen der Eltern. Vorab ist deren Erziehungsfähigkeit zu klären. Ist sie bei beiden Elternteilen gegeben, sind vor allem Kleinkinder und grundschulpflichtige Kinder demjenigen Elternteil zuzuteilen, der die Möglichkeit hat und dazu bereit ist, sie persönlich zu betreuen. Erfüllen beide Elternteile diese Voraussetzungen ungefähr in gleicher Weise, kann die Stabilität der örtlichen und familiären Verhältnisse ausschlaggebend sein. Schliesslich ist - je nach Alter der Kinder - ihrem eindeutigen Wunsch Rechnung zu tragen. Diesen Kriterien lassen sich die weiteren Gesichtspunkte zuordnen, so die Bereitschaft eines Elternteils, mit dem anderen in Kinderbelangen zusammenzuarbeiten. Wesentlich kann ferner der Grundsatz sein, Geschwister nach Möglichkeit nicht zu trennen. Ist aber bei Geschwistern, zum Beispiel aufgrund eines Altersunterschieds, von unterschiedlichen Bedürfnissen und insbesondere von verschiedenen emotionalen Bindungen und Wünschen auszugehen, steht einer Trennung der Kinder nichts entgegen. Von Bedeutung ist sodann auch die Forderung, dass eine Zuteilung der Obhut von einer persönlichen Bindung und echter Zuneigung getragen sein sollte (Urteil 5A_236/2016 vom 15. Januar 2018 E. 4.1 mit zahlreichen Hinweisen; vgl. weiter BGE 142 III 612 E. 4.3; 617 E. 3.2.3; 136 I 178 E. 5.3).
2.3. Die kantonalen Instanzen ordnen Eheschutzmassnahmen im summarischen Verfahren an (Art. 254 ZPO). Von aufwendigen Beweismassnahmen sollen sie daher grundsätzlich absehen (Urteile 5A_236/2016 vom 15. Januar 2018 E. 4.5.1.2; 5A_112/2014 vom 11. Juli 2014 E. 1.3). Unbesehen darum hat das Obergericht auch mit Blick auf die Regelung der Obhut ein Fachgutachten eingeholt.
Wie jedes Beweismittel unterliegen auch Gutachten der freien richterlichen Beweiswürdigung. In Sachfragen soll das Gericht aber nur aus triftigen Gründen von einer gerichtlichen Expertise abweichen. Die Würdigung der Beweise und die Beantwortung der sich stellenden Rechtsfragen ist Aufgabe des Gerichts. Dieses hat zu prüfen, ob sich aufgrund der übrigen Beweismittel und der Vorbringen der Parteien ernsthafte Einwände gegen die Schlüssigkeit der gutachterlichen Darlegungen aufdrängen. Erscheint ihm die Schlüssigkeit eines Gutachtens in wesentlichen Punkten zweifelhaft, hat es nötigenfalls ergänzende Beweise zur Klärung dieser Zweifel zu erheben. Das Abstellen auf eine nicht schlüssige Expertise bzw. der Verzicht auf die gebotenen zusätzlichen Beweiserhebungen kann gegen das Verbot der willkürlichen Beweiswürdigung verstossen (BGE 142 IV 49 E. 2.1.3; 141 IV 369 E. 6.1; 138 III 193 E. 4.3.1).
3.
3.1. Das Obergericht erwog, im Gutachten werde die Erziehungsfähigkeit der Beschwerdegegnerin deshalb als eingeschränkt beurteilt, weil diese dazu tendiere, ihr Verhalten und den Umgang mit den Kindern in Bezug auf die Vaterrolle des Beschwerdeführers nicht am Kindeswohl auszurichten. Abgesehen von diesem Erziehungsdefizit basierten die Einstellungen, Kenntnisse und das Verhalten der Beschwerdegegnerin aber auf gesellschaftlich konventionellen Normen, was auch das Gutachten bestätige. Trotz des hochstrittigen Eheschutzverfahrens wiesen die Kinder allem Anschein nach denn auch einen altersgerechten, guten Entwicklungsstand auf. Daher sei die Erziehungsfähigkeit der Beschwerdegegnerin grundsätzlich zu bejahen. Der im Gutachten geäusserte aber nicht weiter begründete Verdacht, die Beschwerdegegnerin leide allenfalls an einem Münchhausen-Stellvertreter-Syndrom, lasse sich sodann nicht bestätigen. Allein zum Zweck der effizienten Durchsetzung des Kontaktrechts dürfe ein Obhutsentzug mit dem Ziel der Heimunterbringung sodann nicht angeordnet werden.
3.2. Nach Ansicht des Obergerichts kommt im Eheschutzverfahren ohnehin dem Kriterium der grösstmöglichen Stabilität der Verhältnisse besondere Bedeutung zu. Die bisherigen Lebensumstände der Kinder sollten nicht ohne Not von Grund auf verändert werden. Die Parteien hätten bis zur Trennung eine klassische Rollenteilung gelebt, wobei die Mutter sich um die Kinder gekümmert habe. Sie sei daher als Hauptbezugsperson anzusehen. Ein Eingriff in die gewachsenen Strukturen könne für die geistige und seelische Entwicklung der Kinder nachteilige Auswirkungen haben. Geschwister sollten ausserdem in der Regel nicht getrennt werden. Eine Trennung würde vorliegend denn auch nicht im Kindeswohl liegen und wäre unverhältnismässig. Es sei daher nicht sinnvoll, das bisher gelebte Rollenmodell umzustossen, zumal die Beschwerdegegnerin grundsätzlich erziehungsfähig sei. Auf eine Fremdplatzierung des Sohnes sei zu verzichten, insbesondere auch weil eine solche nach Einschätzung des Gutachtens zu Dekompensationsreaktionen im familiären System führen könne. Ausserdem äussere sich das Gutachten nicht zu den mittelfristigen Perspektiven einer befristeten Heimunterbringung von D.A._. Es bestehe die Gefahr, dass eine Fremdplatzierung dem Sohn mehr schade als nutze. Dies gelte es zu vermeiden; das Kindeswohl gebiete es, einzig erfolgsversprechende Massnahmen zu ergreifen.
3.3. Der Verbleib der Kinder in der Obhut der Beschwerdegegnerin garantiere daher, so die Vorinstanz weiter, alles in allem am Besten die Kontinuität und Stabilität des heute als gut zu bezeichnenden örtlichen, schulischen und sozialen Umfelds der Kinder. Eine Umteilung der Obhut an den Beschwerdeführer komme sodann schon deshalb nicht in Frage, weil es an einer geeigneten Beziehungsbasis zwischen Vater und Kindern fehle. Beide Kinder hätten ausserdem den Wunsch geäussert, weiterhin bei der Mutter zu leben. Dies sei zu berücksichtigen, auch wenn dieser Wunsch aufgrund der Beeinflussung der Kinder durch die Mutter zu hinterfragen sei. Die Obhut sei damit bei der Beschwerdegegnerin zu belassen.
3.4. Die Beschwerdegegnerin schliesst sich im Wesentlichen den Überlegungen des Obergerichts an, dessen Entscheid nicht willkürlich sei. Namentlich verweist sie auf ihre grundsätzlich bestehende Erziehungsfähigkeit sowie den Umstand, dass die Kinder bisher stets durch die Mutter betreut worden seien. Eine Änderung dieser Regelung erscheine mit Blick auf das Kindeswohl nicht sinnvoll. Die Kinder sollten mit möglichst wenig einschneidenden Veränderungen konfrontiert werden. Der Verbleib bei der Mutter entspreche sodann dem Wunsch der Kinder. Aus Gründen des Kindeswohls abzulehnen sei schliesslich eine Trennung der Geschwister. Auch nach dem - von der Beschwerdeführerin ansonsten kritisierten (siehe sogleich) - gerichtlichen Gutachten komme eine Obhutszuteilung an den Vater nicht in Frage. Sein entsprechendes Begehren sei daher unhaltbar.
Die Beschwerdegegnerin bezeichnet sodann das vom Obergericht eingeholte Fachgutachten mehrfach als "fachlich unhaltbar", "unseriös", "unsorgfältig" und "unbehelflich". Verschiedene Fachpersonen könnten den Empfehlungen des Gutachtens nicht folgen. Soweit die Beschwerdegegnerin damit die Verwertbarkeit des Gutachtens in Frage stellen sollte, genügt sie mit ihren wenig detaillierten Ausführungen den an eine entsprechende Rüge zu stellenden Begründungsanforderungen nicht. Insbesondere unbehelflich bleibt der Verweis auf ihre früheren Stellungnahmen in dieser Sache (vgl. vorne E. 1.3).
4.
4.1. Nach Ansicht des Beschwerdeführers ist das Obergericht ohne zureichenden Grund vom Gutachten - dieses habe das Gericht zutreffend als verwertbar und fachlich richtig eingestuft - abgewichen, indem es von einer Fremdplatzierung des Sohns sowie der Anordnung einer engmaschigen Begleitung der Tochter abgesehen und die Obhut über die Kinder bei der Mutter belassen habe. Diese habe die Kinder wiederholt in die ehelichen Verfahren und das Strafverfahren gegen den Beschwerdeführer aktiv einbezogen. Sie stelle ihr eigenes Interesse an der Entfremdung der Kinder vom Vater über die Interessen und das Wohl der Kinder. Soweit die Vorinstanz sodann das Vorliegen des Münchhausen-Stellvertreter-Syndroms bei der Beschwerdegegnerin negiere, übergehe sie verschiedene Feststellungen im Gutachten und ignoriere ihre eigene Einschätzung, wonach das Verhalten der Mutter auffällig sei. Die bestehende Obhutsregelung gefährde das Kindeswohl, was das Obergericht im Zusammenhang mit der Besuchsrechtsregelung auch anerkenne. "Sehenden Auges" perpetuiere das Obergericht mit seinem Entschied diesen Zustand. Der Widerspruch, in den das Obergericht sich damit begebe, zeige auch dessen Bemerkung auf, die Frage des Entzugs des Obhuts- und Sorgerechts der Beschwerdegegnerin stelle sich ernsthaft in einem späteren Scheidungsverfahren oder auch ausserhalb eines solchen.
4.2. In Ausserachtlassung dieser Umstände habe das Obergericht in dem angefochtenen Entscheid darauf abgestellt, dass die Kinder sich gut zu entwickeln "schienen" und habe aus Sorge vor allfälligen nachteiligen Folgen einer Änderung auf Kontinuität gesetzt. Damit räume das Obergericht dem Kriterium der Stabilität, das nur ein Ausdruck des Kindeswohls sei, einen allzu hohen Stellenwert ein. Ohnehin sei die Sorge der Vorinstanz vor allfälligen nachteiligen Folgen einer Fremdplatzierung des Sohnes verfehlt: Die im Gutachten angesprochenen Dekompensationsrisiken beträfen die Mutter und nicht den Sohn. D.A._ selbst werde im Gutachten aufgrund der bestehenden Situation als deutlich auffällig beschrieben. Er weise regredierende Verhaltensweisen auf und es bestehe die Gefahr einer manifesten psychischen Störung. Diese Gefahr sei nicht diskutiert worden und die Folgen einer Auflösung der bestehenden Bindungen seien nicht ohne Verharmlosung abgewogen worden, womit die Vorinstanz in Willkür verfallen sei.
4.3. Sodann habe das Obergericht die bestehende komplexe Situation auf die Frage verkürzt, ob zur Wahrung des Kontaktrechts eine Heimunterbringung angeordnet werden könne. Es stehe jedoch nicht primär die Wahrung des Kontaktrechts, sondern die Auflösung einer aus anderen Gründen das Kindeswohl gefährdenden Situation in Frage. Da die Gefahr von der derzeit obhutsberechtigten Person ausgehe, sei hierzu die Auflösung der bestehenden Bindungen notwendig. Es hätte daher geklärt werden müssen, ob eine Umplatzierung oder die Beibehaltung der gegenwärtigen Situation ein grösseres Risiko darstelle. Diese Abwägung sei unterblieben. Der Hinweis des Obergerichts auf einen Entscheid des deutschen Bundesgerichtshofs, wonach eine Heimunterbringung allein zur Durchsetzung des Kontaktrechts nicht angeordnet werden könne, sei zudem nicht einschlägig. Es habe eine gänzlich andere Situation als hier vorgelegen, namentlich seien dort bereits alle anderen Möglichkeiten ausgeschöpft worden.
5.
5.1. Der Beschwerdeführer rügt zu Recht, dass die Erwägungen der Vorinstanz zur Erziehungsfähigkeit der Kindsmutter (vgl. vorne E. 3.1) aktenwidrig und teilweise widersprüchlich sind: Zwar anerkennt das Obergericht eine Einschränkung der Erziehungsfähigkeit aufgrund der Einstellung der Beschwerdegegnerin gegenüber dem Kindsvater und ihrer Unfähigkeit, die Paar- bzw. Erwachsenenebene von der Ebene der Kinder klar zu trennen. Dennoch führt es aus, aufgrund der ansonsten zu bejahenden Erziehungskompetenz und dem scheinbar guten Entwicklungsstand der Kinder sei die Erziehungsfähigkeit der Mutter "grundsätzlich" gegeben. Diese Differenzen in seiner Würdigung vermag das Obergericht nicht mit dem Hinweis auf das Gutachten zu rechtfertigen, welches trotz Anerkennung erzieherischer Kenntnisse und Kompetenzen bei der Beschwerdegegnerin unzweideutig zum Schluss gelangt, deren Erziehungsfähigkeit sei eingeschränkt (vgl. Gutachten, S. 76 und 81). Wenig hilfreich ist sodann der Verweis darauf, die Kinder würden sich altersgerecht und gut entwickeln, nachdem im Gutachten ausgeführt wird, es liege bei beiden Kindern unter gleichbleibenden Bedingungen ein Entwicklungsrisiko und eine Kindeswohlgefährdung vor (vgl. Gutachten, S. 71). Hierbei bleibt der im Gutachten geäusserte Verdacht auf das Vorliegen eines sog. "Münchhausen-Stellvertreter-Syndroms" ausser Betracht, welches die Erziehungsfähigkeit der Beschwerdegegnerin gänzlich aufheben würde. Wie das Obergericht richtig erwägt, lässt sich dieser Verdacht gestützt auf die Akten nicht bestätigen (vgl. Gutachten, S. 76 und 81).
5.2. Zu Recht bringt der Beschwerdeführer weiter vor, dass die Vorinstanz in ihren Überlegungen dem Kriterium der Stabilität der örtlichen und familiären Verhältnisse ein zu grosses Gewicht einräumt. Bei diesem Kriterium handelt es sich nur um eines von mehreren, welches in die vorzunehmende Gesamtwürdigung der Situation einzubeziehen ist (vgl. vorne E. 2.2 [auch zum Folgenden]). Ihm kommt auch im Eheschutzverfahren keine gesteigerte Bedeutung zu, in welchem über die Obhut wie im Scheidungsfall zu entscheiden ist. Das Obergericht wäre sich dessen grundsätzlich bewusst gewesen, hält es Entsprechendes doch zu Beginn seiner Überlegungen zur Obhutszuteilung explizit fest. Dennoch wich es hiervon ab. Ebenfalls zutreffend ist der Hinweis des Beschwerdeführers, dass sich vorliegend nicht einfach die Frage einer "Heimplatzierung zwecks Durchsetzung eines Besuchsrechts" stellt. Vielmehr wäre in Abwägung sämtlicher Umstände mit Blick auf das Kindeswohl über die Obhutsfrage zu entscheiden gewesen, was das Obergericht nach dem Ausgeführten nur unvollständig getan hat.
5.3. Indem die Vorinstanz teilweise widersprüchlich argumentiert und nicht alle relevanten Kriterien in seine Überlegungen einbezogen hat, ist sie in der Begründung ihres Entscheids in Willkür verfallen. Die Aufhebung des angefochtenen Erkenntnisses kommt jedoch nur in Frage, wenn dieses sich auch im Ergebnis als willkürlich erweist (vorne E. 2.1). Insoweit kommt den im Fachgutachten abgegebenen Empfehlungen grosse Bedeutung zu. Dieses Gutachten hat das Obergericht selbst in Auftrag gegeben und seine Verwertbarkeit ist vor Bundesgericht nicht rechtsgenüglich bestritten (vgl. vorne E. 3.4). Ein Abweichen von dem Gutachten rechtfertigte sich daher nur, wenn sich ernsthafte Einwände gegen seine Schlüssigkeit aufdrängen würden (vorne E. 2.3), was nicht dargetan ist.
5.3.1. Nicht geradezu unhaltbar ist diesbezüglich, dass das Obergericht sich auf eine Fremdplatzierung der Kinder und nicht auf die Übertragung der Obhut auf den Beschwerdeführer fokussiert hat. Zwar ist der Kindsvater gemäss dem Gutachten erziehungsfähig (Gutachten, S. 77 f.) und ist zwischen Vater und Kinder grundsätzlich eine geeignete Beziehungsbasis mit Anknüpfungspunkten vorhanden (Gutachten, S. 80). Derzeit bestehen aber keine Kontakte zwischen dem Beschwerdeführer und den Kindern, bilden die Kinder mit der Mutter eine Allianz, spalten die Kinder die Lebenswelt des Kindsvaters in Gegenwart der Kindsmutter kognitiv und emotional ab und übernehmen sie die abwertende Haltung der Mutter gegenüber dem Vater (Gutachten, S. 81). Deshalb ist die Beziehungsbasis zwischen Vater und Kindern gestört (Gutachten, S. 71 f.). Unter diesen Umständen durfte das Obergericht der Obhutszuteilung an den Vater in seinen Überlegungen ein nur untergeordnetes Gewicht beimessen ohne in Willkür zu verfallen (vgl. im Übrigen vorne E. 1.2).
5.3.2. Allerdings gilt es hinsichtlich der beiden Kinder zu unterscheiden: Wie das Gutachten ausführt, stellen sich aus fachpsychologischer Sicht bei C.A._ und D.A._ "gemäss ihrem Alter" "andere Fragestellungen und Überlegungsansätze betreffend einer Anpassung der aktuellen Situation" (Gutachten, S. 72 und 82). Anders als das Obergericht meint, kommt damit dem Grundsatz, dass Kinder nicht getrennt werden sollen, keine entscheidende Bedeutung zu (vorne E. 2.2). Vielmehr ist für jedes Kind eine seiner Situation angepasste Lösung zu finden. Zur Tochter wird im Gutachten auf S. 72 diesbezüglich ausgeführt:
"Hinsichtlich C.A._ ist von einer Fremdunterbringung aus gutachterlicher Sicht zum gegenwärtigen Zeitpunkt abzusehen. Als 14-jährige Jugendliche ist ihr alltäglicher Betreuungsbedarf [...] so, dass sie vermehrt auf ein qualitativ stringentes Monitoring angewiesen ist. Viele ihrer Aufgaben (Schulbesuch, Erledigung von Hausaufgaben, körperliche Hygiene, Pflege von Freundschaften) kann C.A._ kompetent und selbständig ausüben. Vor dem Hintergrund der dysfunktionalen Bindung an die Kindsmutter erscheint eine Fremdunterbringung für C.A._ wohl entwicklungsproblematischer als ein Verbleib bei der Kindsmutter mit entsprechenden flankierenden Massnahmen. Beispielsweise mit dem Erhalt der Beistandschaft, Erhalt der psychotherapeutischen Behandlung bei [...], regelmässigen Standortsitzungen mit Schule und Lehrpersonen zur Sicherung der schulischen Karriere kann aus gutachterlicher Sicht eine ausreichende familienergänzende Betreuung sichergestellt werden, um C.A._ in der mütterlichen Obhut zu belassen. Eine Annäherung an den Kindsvater erscheint aus gutachterlicher Sicht aktuell deutlich erschwert [...]. Aus gutachterlicher Sicht soll nicht entgegen diesem Wunsch von C.A._ gehandelt werden. C.A._ soll die Entscheidung betreffend der Wiederaufnahme von Kontakten zum Kindsvater überlassen werden."
Nachdem auch das Gutachten eine Belassung der Tochter unter der Obhut der Beschwerdegegnerin empfiehlt, kann der angefochtene Entscheid diesbezüglich jedenfalls im Ergebnis nicht als geradezu unhaltbar angesehen werden. Zumal in Form der unbestritten gebliebenen umfassenden Beistandschaft (vgl. vorne Bst. B.e) die Begleitung der Tochter im Sinne einer flankierenden Massnahme sichergestellt ist. Die Beschwerde erweist sich insoweit als unbegründet.
5.3.3. Zu einem anderen Schluss gelangt das Gutachten bezüglich des Sohns D.A._ (Gutachten, S. 83; vgl. auch S. 72 f.) :
"Bei D.A._ ist aus gutachterlicher Sicht eine vorerst auf beschränkte Dauer angesetzte Fremdplatzierung zu empfehlen. D.A._ kann so seinen Lebensmittelpunkt an einem neutralen, nicht konflikthaft kontaminierten Ort verlegen und von dort aus die Beziehung zu den Kindseltern pflegen. Auf diese Weise kann das System aufgelöst und dysfunktionale Dynamiken, insbesondere die maligne Loyalität zur Kindsmutter, welche den Kontakt zum Kindsvater verunmöglicht, [können] reduziert werden."
Die aus fachlicher Sicht indizierte Trennung von Mutter und Sohn kann auch nicht mit Blick auf die Grundsätze unterbleiben, dass stabile Verhältnisse zu erhalten und Kinder nicht zu trennen sind. Wie ausgeführt sind diese Grundsätze vorliegend nicht von überragender bzw. nur von untergeordneter Bedeutung. Aus dem Gutachten ergibt sich sodann, dass die derzeitige Situation das Wohl des Sohnes gefährdet und dass bei diesem, anders als bei der Tochter, die Nachteile einer Trennung von der Mutter die Vorteile nicht überwiegen. Hieran ändert auch der Hinweis des Obergerichts nichts, dass es gemäss dem Gutachten bei einer Trennung zu Dekompensationsreaktionen im familiären System kommen könnte. Wie der Beschwerdeführer richtig einwendet, betrifft diese Gefahr vorab die Beschwerdegegnerin und nicht D.A._, sodass sie einer Änderung der bestehenden Situation nicht entgegensteht. Allfälligen nachteiligen Auswirkungen für den Sohn kann mit einer Verlaufsbegutachtung genügend Rechnung getragen werden (vgl. zum Ganzen Gutachten, S. 85). Wenig nachvollziehbar ist sodann der Einwand der Vorinstanz, das Gutachten enthalte keine Einschätzung der mittelfristigen Aussichten. Jedenfalls ist entscheidend, dass die derzeit bestehende Gefährdung des Kindeswohls abgewandt wird (vgl. dazu Gutachten, S. 84). Auch die Fachpersonen gehen sodann davon aus, dass die Situation im Auge zu behalten und in Zukunft falls nötig anzupassen ist. Weshalb das Fehlen einer Einschätzung der mittelfristigen Perspektiven der Massnahme entgegenstehen sollte, ist daher nicht einsichtig. Aus welchen anderen Gründen das Obergericht entgegen dem Fachgutachten sodann zum Schluss kommen könnte, eine Trennung des Sohns von der Mutter könne ersterem mehr schaden als nützen, ist nicht zu erkennen. Wie das Obergericht schliesslich selbst festhält, kann dem von D.A._ geäusserten Wunsch, bei der Mutter zu bleiben, aufgrund der bestehenden Dynamik im Familiensystem bzw. der starken Beeinflussung des Sohns durch die Mutter, kein entscheidendes Gewicht zukommen.
Hinsichtlich des Verbleibs des Sohns bei der Beschwerdegegnerin erweist sich das angefochtene Urteil damit als offensichtlich unhaltbar. Abgesehen davon, dass die Vorinstanz die massgebenden Kriterien falsch gewichtet und teilweise widersprüchlich argumentiert, ist das Obergericht von den gutachterlichen Erkenntnissen abgewichen, ohne dass hierfür nachvollziehbare Gründe bestehen würden. Das angefochtene Urteil erweist sich damit insoweit als willkürlich und die Beschwerde als begründet.
5.4. Soweit die Obhut über den Sohn betreffend ist das angefochtene Urteil damit aufzuheben. Das Obergericht hat sich nicht dazu geäussert, welche Lösung für D.A._ im Einzelnen getroffen werden könnte. Entsprechend dem Eventualantrag des Beschwerdeführers ist die Sache damit insoweit zur Neubeurteilung an die Vorinstanz zurückzuweisen (Art. 107 Abs. 2 BGG), zumal es in diesem Zusammenhang an einem hinreichend begründeten Antrag des Beschwerdeführers in der Sache fehlt (vgl. vorne E. 1.2). Ebenfalls neu zu entscheiden haben wird die Vorinstanz über die Kosten des kantonalen Verfahrens.
6.
Der Beschwerdeführer beantragt sodann die Aufhebung des angefochtenen Entscheids soweit das Besuchsrecht bei seinem Sohn betreffend. Nachdem das Obergericht mit Bezug auf D.A._ erneut über die Obhut zu entscheiden haben wird, wird es sich auch neu zu einem allfälligen Besuchsrecht des Beschwerdeführers zu äussern haben. Entsprechend ist das angefochtene Urteil auch in diesem Umfang aufzuheben und die Sache zum erneuten Entscheid an das Obergericht zurückzuweisen.
7.
7.1. Zusammenfassend ist die Beschwerde teilweise gutzuheissen, soweit auf sie einzutreten ist. Die Ziffer 1 soweit den Sohn D.A._ betreffend sowie die Ziffern 3, 4, 11 und 12 des angefochtenen Urteils werden aufgehoben. Die Sache wird zur erneuten Entscheidung über die Obhut über D.A._, ein allfälliges Besuchsrecht des Beschwerdeführers und die Kosten des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
7.2. Bei diesem Ausgang des Verfahrens obsiegt der Beschwerdeführer zur Hälfte. Entsprechend diesem Ausgang des Verfahrens sind die Gerichtskosten den Parteien je zur Hälfte aufzuerlegen (Art. 66 Abs. 1 BGG) und die Parteientschädigungen wettzuschagen (Art. 68 Abs. 1 BGG). Die Ausrichtung einer Entschädigung an die Kindesvertreterin rechtfertigt sich nicht, nachdem diese auf eine Vernehmlassung verzichtet hat (vorne Bst. C).
Demnach erkennt das Bundesgericht:
1.
In teilweiser Gutheissung der Beschwerde werden die Ziffern 1 soweit den Sohn D.A._ betreffend sowie die Ziffern 3, 4, 11 und 12 des Urteils des Obergerichts des Kantons Zürich vom 9. Oktober 2017 aufgehoben. Die Sache wird zur erneuten Entscheidung über die Obhut über D.A._, ein allfälliges Besuchsrecht des Beschwerdeführers und die Kosten des kantonalen Verfahrens an das Obergericht zurückgewiesen. Weitergehend wird die Beschwerde abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Parteien je zur Hälfte auferlegt.
3.
Die Parteientschädigungen werden wettgeschlagen.
4.
Dieses Urteil wird den Parteien, C.A._, D.A._ und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 27. März 2018
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Sieber