Sachverhalt:
A.
X._ (1973) und Y._ (1974) heirateten im Jahr 2000. Sie haben die gemeinsamen Kinder A._ (2005) und B._ (2008). Seit Februar 2009 leben die Parteien getrennt. Dabei zog die Mutter mit den Kindern aus der gemeinsamen Wohnung in C._ aus und kehrte an ihren früheren Wohnort D._ zurück.
B.
Im Rahmen des Eheschutzverfahrens, welches mit Urteil des Kantonsgerichts Wallis vom 25. August 2011 seinen Abschluss fand, wurde die Obhut über die Kinder der Mutter zugeteilt.
Seit Februar 2011 wird das Scheidungsverfahren ausgetragen. Mit Urteil vom 3. Dezember 2012 schied das Bezirksgericht Zürich die Ehe der Parteien. Es stellte die beiden Kinder unter die elterliche Sorge der Mutter und regelte die weiteren Nebenfolgen der Scheidung, unter Genehmigung einer Teilvereinbarung.
Berufungsweise verlangte der Vater, die Kinder seien unter seine elterliche Sorge zu stellen. Mit Urteil vom 23. September 2013 wies das Obergericht des Kantons Zürich die Berufung unter ausdrücklichem Verzicht auf die Anhörung der Kinder und Einholung weiterer Berichte ab.
C.
Gegen dieses Urteil hat X._ am 30. Oktober 2013 eine Beschwerde eingereicht mit dem Begehren um Zuteilung der elterlichen Sorge an ihn, eventualiter um Rückweisung der Sache an die Vorinstanz. Mit Stempel vom 23. April 2014 hat das Obergericht des Kantons Zürich auf eine Vernehmlassung verzichtet. Die Gegenpartei hat nicht von sich hören lassen.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Entscheid betreffend eine nicht vermögensrechtliche Nebenfolge einer Scheidung; dagegen steht die Beschwerde in Zivilsachen offen (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 90 BGG).
2.
In der Sache bestritt der Vater die Erziehungsfähigkeit der Mutter, indem er ihr insbesondere Wahnvorstellungen und fehlende Kooperation vorwarf.
Das Obergericht führte hierzu aus, dass die Mutter im Zusammenhang mit der Trennung anfangs 2009 massive Vorwürfe (insb. sexueller Missbrauch) gegenüber dem Vater und dessen Vater erhoben habe. Diese Vorwürfe hätten sich nicht erhärten lassen und das Ermittlungsverfahren sei im Jahr 2010 eingestellt worden. Missbrauchsanschuldigungen, welche der Grundlage entbehrten, könnten auf den ersten Blick geeignet erscheinen, die Erziehungsfähigkeit eines Elternteils in Frage zu stellen. Der Einstellungsverfügung der Staatsanwaltschaft lasse sich aber nicht entnehmen, dass die Mutter die Behauptungen mit der Absicht falscher Anschuldigung in den Raum gesetzt hätte. Sodann habe das Kantonsgericht Wallis im Jahr 2010 verschiedene Abklärungen über den Gesundheitszustand der Mutter gemacht und diverse Berichte eingeholt. Die Psychologin E._ habe in ihrem Gutachten vom 18. Juni 2010 die Prüfung der geteilten Obhut empfohlen und im Fall der Unmöglichkeit angeregt, einen Obhutswechsel zum Vater ins Auge zu fassen, da zwar beiden Elternteilen die Erziehungsfähigkeit zu attestieren, aber möglicherweise die Bindungstoleranz der Mutter nicht im gleichen Ausmass vorhanden sei. Das Obergericht hat weiter erwogen, dass die Mutter die empfohlene psychotherapeutische Behandlung ihrer Angstzustände in Anspruch genommen habe. Es sei weiter davon auszugehen, dass der Vater die Kinder regelmässig sehe. Dass dabei jeweils am Freitag- und Sonntagabend in Begleitung eines Elternteils bzw. einer Tante die dreistündige Zugfahrt zwischen F._ und G._ unternommen werde, zeige doch einen recht grossen Willen der Eltern, die familiären Bande aufrechtzuerhalten, und dokumentiere eine Verbesserung der Bindungstoleranz der Mutter. Überdies bringe der Vater keine aktuellen Vorfälle von Wahnvorstellungen oder einer Überlastungssituation der Mutter (mehr) vor. In genereller Hinsicht zog das Obergericht sodann in Erwägung, dass der Vater nach der Geburt der Kinder wie gewohnt der Erwerbsarbeit nachging, während sich die Mutter um die Erziehung der Kinder kümmerte, und dass eine Sorgerechtszuteilung an den Vater einen Umgebungswechsel der Kinder vom französischsprachigen Teil des H._ nach G._ bedeuten würde. Gerade weil eine angemessene Beziehung zu beiden Elternteilen habe erreicht werden können und keine dem Kindeswohl abträgliche Situation bei der Mutter auszumachen sei, komme dem Kontinuitätsgedanken ein hoher Stellenwert zu. Unter diesen Umständen erübrige es sich, auf die vom Vater geltend gemachte Eigenbetreuungskapazität einzugehen.
Spezifisch zu den Vorwürfen des Vaters, das Bezirksgericht habe gestützt auf veraltete Unterlagen aus dem Eheschutzverfahren (Gutachten vom Juni 2010 und Sozialbericht vom August 2009) entschieden und weder die Kinder angehört noch ihnen eine Vertretung bestellt, räumte das Obergericht ein, dass das Bezirksgericht die betreffenden Anträge nur summarisch behandelt und die weiteren Vorbringen in der Entscheidfindung nicht berücksichtigt habe. Das rechtliche Gehör könne aber zufolge der umfassenden Kognition geheilt werden. Im Rahmen seiner eigenen Prüfung führte das Obergericht mit eingehenden Erwägungen aus, dass das Besuchsrecht funktioniere, keine besondere Schutzbedürftigkeit der Kinder auszumachen und die Streitigkeit nicht von einer Intensität sei, die eine Kindesvertretung rechtfertigen würde. Sodann würden im Prinzip beide Eltern dem jeweils anderen Teil eine tragfähige Bindung zu den Kindern attestieren. Der Sohn werde in fünf Monaten sechs Jahre alt und die Tochter sei während des obergerichtlichen Verfahrens achtjährig geworden, womit sie grundsätzlich angehört werden könnte. Obwohl der Vater die Anhörung der Kinder unter dem Aspekt sowohl des Beweismittels als auch des Persönlichkeitsrechts beantragt habe, seien die Kinder vom Bezirksgericht ohne Begründung nicht angehört worden. Eine Anhörung durch das Obergericht im Sinn eines Beweismittels erübrige sich aber, weil keine neuen Erkenntnisse zu erwarten seien. Es bleibe somit die Frage, ob das der Tochter kraft ihrer eigenen Person zustehende Äusserungsrecht verletzt worden sei. Sie sei 2010 im Rahmen des Eheschutzverfahrens als damals Fünfjährige zweimal von einer Fachperson angehört worden. Gemäss bundesgerichtlicher Rechtsprechung sei eine erneute Anhörung um der Anhörung willen zu vermeiden. Insbesondere könne auf eine erneute Anhörung verzichtet werden, wenn diese für das Kind eine Belastung darstelle oder keine neuen Erkenntnisse zu Tage fördern würde; dabei könne es sich auch um ein die Anhörung obsolet machendes Gutachten aus einem anderen Verfahren handeln. Entscheidend sei, dass das Kind zu den relevanten Punkten befragt worden sei und das Ergebnis der Anhörung noch Gültigkeit habe. Dies sei vorliegend der Fall. So gehe aus den erwähnten Gutachten bzw. Berichten hervor, dass die Tochter ihren Vater gern habe und Zeit mit ihm verbringen möchte. Auch das Verhalten des damals 21⁄4-jährigen Sohnes sei beobachtet und dabei festgestellt worden, dass er sich beim Vater wohl fühle. Obwohl diese Dokumente mittlerweile nicht mehr aktuell im Sinn von neu seien, würden sie doch die aktuellen Verhältnisse widerspiegeln, nämlich, dass die Kinder Kontakt zum Vater möchten. Inwiefern eine erneute Anhörung andere Erkenntnisse bringen könnte, sei nicht ersichtlich und werde durch den Vater auch nicht dargetan. Ziehe man zusätzlich in Betracht, dass eine Anhörung vor Gericht für Kinder immer auch eine Belastung sei, könne darauf verzichtet werden.
3.
Der Beschwerdeführer macht im Zusammenhang mit der unterlassenen Kindesanhörung eine Verletzung von <ref-law> und <ref-law> sowie hinsichtlich der bejahten Erziehungsfähigkeit der Mutter eine Verletzung von <ref-law> und <ref-law> geltend.
Betreffend die Kindesanhörung bringt der Beschwerdeführer vor, dass diese erst- und zweitinstanzlich ausdrücklich beantragt worden sei. Die Tochter habe die relevante Altersgrenze für die Anhörung in beiden Verfahren deutlich überschritten und der Sohn sei obergerichtlich ganz kurz davor gestanden. Die angegebenen Gründe, weshalb dennoch von einer Anhörung abzusehen sei, würden nicht verfangen, gehe doch auch das Obergericht davon aus, dass die im Eheschutzverfahren eingeholten Berichte nicht mehr aktuell seien. Die Anhörung lasse sich insbesondere nicht mit dem Argument abtun, dass keine neuen Erkenntnisse zu erwarten seien, gehe es doch gerade darum, die heutigen Wünsche und den jetzigen Zustand der Kinder zu erfahren (dazu E. 4).
Im Zusammenhang mit der Erziehungsfähigkeit der Mutter macht der Beschwerdeführer geltend, dass diese psychiatrische Hilfe in Anspruch nehme, was ihre gesundheitlichen Probleme belege und eine Abklärung ihres aktuellen Zustandes bedinge. Indem das Obergericht bloss aufgrund der Akten davon ausgegangen sei, dass eine Umteilung nicht im Wohl der Kinder wäre, habe es die Untersuchungs- und Offizialmaxime verletzt (dazu E. 5).
4.
Gemäss <ref-law> wird das Kind durch das Gericht oder durch eine beauftragte Drittperson in geeigneter Weise persönlich angehört, sofern sein Alter oder andere wichtige Gründe nicht dagegen sprechen.
Die Anhörung des Kindes ist zum einen Ausfluss seiner Persönlichkeit und dient zum anderen der Sachverhaltsfeststellung (vgl. Botschaft, BBl 1996 I 143). In seinem Leitentscheid <ref-ruling> zur Vorgängernorm <ref-law> ist das Bundesgericht davon ausgegangen, dass die Kindesanhörung im Sinn einer Richtlinie ab dem vollendeten sechsten Altersjahr möglich ist, wobei es nicht ausgeschlossen ist, je nach den konkreten Umständen auch ein etwas jüngeres Kind anzuhören, etwa wenn bei Geschwistern das jüngere kurz vor dem genannten Schwellenalter steht (E. 1.2.3 S. 557). Während bei älteren Kindern der persönlichkeitsrechtliche Aspekt im Vordergrund steht und das Kind ein eigenes Mitwirkungsrecht hat, ist die Anhörung bei kleineren Kindern im Sinn eines Beweismittels zu verlangen (E. 1.1 S. 554 f.). Soweit aber entsprechende Anträge vorhanden sind, besteht unter Vorbehalt der vom Gesetz genannten wichtigen Gründe eine Verpflichtung zur Durchführung der Anhörung (E. 1.2.3 S. 557 und E. 1.4 S. 559). Das bedeutet, dass der Antrag auf Kindesanhörung nicht aufgrund einer antizipierten Beweiswürdigung abgewiesen werden kann (Urteile 5A_536/2007 vom 24. Januar 2008 E. 2.1; 5A_160/2011 vom 29. März 2011 E. 5.2.1). Abgesehen davon, dass ein solches Vorgehen keine Stütze im Gesetzeswortlaut findet, würde das Anliegen des Gesetzgebers unterlaufen, die Stellung des Kindes im Prozess zu stärken (vgl. Botschaft, BBl 1996 I 143 ff.). Faktisch könnte nämlich die Kindesanhörung mit einer antizipierten Beweiswürdigung fast durchwegs ausgehebelt werden, ist doch gerade bei kleineren Kindern zu erwarten, dass sie sich zu beiden Elternteilen hingezogen fühlen, oft in einem Loyalitätskonflikt stehen und in aller Regel zu beiden Elternteilen Kontakt pflegen möchten.
Weiter geht die bundesgerichtliche Rechtsprechung davon aus, dass eine mehrmalige Anhörung jedenfalls dort unterbleiben kann, wo sie einzig um der Anhörung willen stattfände, namentlich wenn sie für das Kind eine unnötige Belastung bedeuten würde, wie etwa bei akuten Loyalitätskonflikten, und überdies keine neuen Erkenntnisse zu erwarten wären (<ref-ruling> E. 4 S. 554 f.). Es ist auch nicht zwingend nötig, eine Anhörung durchzuführen, wenn das Kind seine Meinung bereits zufolge einer delegierten Anhörung im Rahmen einer Begutachtung hat einbringen können, selbst wenn das Gutachten in einem anderen Verfahren in Auftrag gegeben worden ist; das Kind muss dabei aber zu den entscheidrelevanten Punkten befragt worden sein und das Ergebnis der Anhörung muss aktuell sein (<ref-ruling> E. 4 S. 555; Urteile 5A_756/2009 vom 29. Januar 2010 E. 3.1; 5A_397/2011 vom 14. Juli 2011 E. 2.4; 5A_911/2012 vom 14. Februar 2013 E. 6.4.3; 5A_138/2012 vom 26. Juni 2012 E. 4; 5A_505/2013 vom 20. August 2013 E. 5.2.2).
Anknüpfend an diese Rechtsprechung beruft sich das Obergericht auf ein Erziehungsfähigkeitsgutachten vom Juni 2010 aus dem Eheschutzverfahren, bei welchem allerdings keines der Kinder das relevante Schwellenalter erreicht hatte (das Mädchen war im Untersuchungszeitraum rund fünfjährig, der Sohn gut zweijährig). Das Bundesgericht hat im bereits zitierten Leitentscheid <ref-ruling> die Anhörung im Sinn der relevanten Gesetzesnormen von der blossen "Anschauung" bzw. "Beobachtung" abgegrenzt (das Obergericht spricht im Zusammenhang mit dem damals gut zweijährigen Sohn denn auch von "Beobachtung") und befunden, die Anhörung im rechtlichen Sinn setze ein bestimmtes Kindesalter voraus (E. 1.2.2 S. 556), welches wie erwähnt auf sechs Jahre festgelegt wurde. Konnte aber demnach im Zusammenhang mit dem Gutachten aus dem Jahr 2010 mangels Erreichens des relevanten Schwellenalters von vornherein keine delegierte Anhörung im rechtlichen Sinn stattfinden, so geht es vorliegend gar nicht um deren Wiederholung, welche unter den vorstehend genannten Bedingungen allenfalls unterbleiben könnte. Vielmehr handelt es sich um eine erstmalige Anhörung, die ausdrücklich beantragt wurde und deshalb unabhängig von der Frage der Aktualität der damaligen Abklärungen durchzuführen ist, soweit nicht einer der beiden gesetzlich genannten Ausschlussgründe greift.
Was den Ausschlussgrund des Kindesalters anbelangt, ist die Tochter inzwischen deutlich über sechs Jahre alt und stand der Sohn während des obergerichtlichen Verfahrens ganz kurz vor dem Schwellenalter, so dass er nach der zitierten Rechtsprechung als Geschwister ohne weiteres auch hätte angehört werden können. Was die "anderen wichtigen Gründe" als zweiten Ausnahmetatbestand anbelangt (die Botschaft nennt beispielhaft die Weigerung des Kindes, BBl 1996 I 144; in <ref-ruling> E. 1.3.1 S. 558 werden als weitere Beispiele Repressalien, Auslandsaufenthalt, Gesundheitsschäden und Dringlichkeit aufgezählt), so finden sich im angefochtenen Entscheid keine konkreten Ausführungen. Das Obergericht hält lediglich in abstrakter Weise fest, dass eine Anhörung für Kinder immer auch eine Belastung darstelle. Dies ist aber mit den wichtigen Gründen im Sinne des Gesetzes nicht gemeint, denn damit liesse sich eine jede Anhörung umgehen, was dem klaren gesetzgeberischen Willen widerspräche, dass Kinder grundsätzlich anzuhören sind.
Als Zwischenergebnis ist festzuhalten, dass die trotz ausdrücklichem Antrag verweigerte (Erst-) Anhörung der Kinder gegen <ref-law> verstösst und diese in dahingehender Gutheissung des Eventualantrages nachzuholen ist.
5.
In Bezug auf die Feststellung der elterlichen Erziehungsfähigkeit kommen die Untersuchungsmaxime (<ref-law>) und die Offizialmaxime (<ref-law>) zum Tragen. Allerdings ist auch in diesem Bereich eine antizipierte Beweiswürdigung statthaft (<ref-ruling> E. 2.2.3 S. 735; Urteile 5A_859/2009 vom 25. Mai 2010 E. 4.3.1; 5A_911/2012 vom 14. Februar 2013 E. 6.3.1; 5A_505/2013 vom 20. August 2013 E. 5.2.1), ja sogar geboten, ansonsten die Feststellung des relevanten Sachverhaltes nie zu einem Abschluss kommen könnte.
Das Obergericht hat sich zur Erziehungsfähigkeit der Eltern sowie zum bisherigen Verlauf der Ausübung von Obhut und Besuchsrecht ausführlich geäussert. Es hat dabei auch festgestellt, dass seit der inzwischen lange zurückliegenden Trennung eine gewisse Beruhigung eingetreten ist: Der Vater halte selbst fest, dass die Parteien in den letzten Jahren hätten Boden schaffen können und an sich würden beide Eltern dem jeweils anderen Teil eine tragfähige Bindung zu den Kindern attestieren; es sei davon auszugehen, dass der Vater die Kinder regelmässig sehe und auch das Ferienrecht ausüben könne. Ferner hat es darauf hingewiesen, dass der Beschwerdeführer keine konkreten Anhaltspunkte dafür liefere, dass die Mutter noch unter allfälligen Wahnvorstellungen leiden würde.
Wenn das Obergericht angesichts dieser Feststellungen auf weitere Untersuchungsmassnahmen im Zusammenhang mit der Erziehungsfähigkeit der Mutter verzichtet hat, so stellt dies eine antizipierte Beweiswürdigung dar, welche einzig mit gehörig begründeten Willkürrügen angefochten werden kann (<ref-ruling> E. 4.3.2 S. 376), welche vorliegend nicht erhoben werden. Vor diesem Hintergrund ist mit dem bloss abstrakten Vorbringen, es müsse eine Begutachtung des aktuellen Gesundheitszustandes der Mutter erfolgen, keine Verletzung der genannten Maximen dargetan. Insoweit ist die Beschwerde unbegründet. Nur der Vollständigkeit halber sei festgehalten, dass angesichts der Anwendbarkeit der genannten Maximen weitere Untersuchungsmassnahmen nicht ausgeschlossen wären, wenn sich solche aufgrund der Ergebnisse der Anhörung der Kinder aufdrängen würden.
6.
Zusammenfassend ergibt sich, dass in dahingehender Gutheissung des Eventualbegehrens und Aufhebung des angefochtenen Urteils die Sache zur Anhörung der Kinder und neuen Entscheidung an das Obergericht zurückzuweisen ist.
Der Beschwerdeführer ist im bundesgerichtlichen Verfahren mit dem einen Anliegen grundsätzlich durchgedrungen und mit dem anderen nicht; es erscheint angezeigt, die Gerichtskosten den Parteien je zur Hälfte aufzuerlegen und diese je ihre eigenen Anwaltskosten tragen zu lassen (Art. 66 Abs. 1 und Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
In dahingehender Gutheissung des Eventualbegehrens und Aufhebung des Urteils des Obergerichtes des Kantons Zürich vom 23. September 2013 wird die Sache zur Anhörung der Kinder und neuen Entscheidung an das Obergericht zurückgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Parteien je zur Hälfte auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 16. Juni 2014
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Möckli