Sachverhalt:
A.
Z._ (Ehefrau; geb. 1977) und X._ (Ehemann; geb. 1955) haben die gemeinsame Tochter Y._ (geb. 2003).
Mit Eheschutzentscheid vom 22. November 2010 stellte das Bezirksgericht Baden die Tochter unter die Obhut des Vaters und gewährte der Mutter ein Besuchsrecht an jedem zweiten Wochenende von Freitag nach Krippenschluss bis Sonntagabend, 19 Uhr, sowie ein Ferienrecht von drei Wochen pro Jahr. Die hiergegen erhobenen Beschwerden des Vaters wiesen das Obergericht des Kantons Aargau am 15. August 2011 und das Bundesgericht am 23. Januar 2012 ab (Verfahren 5A_667/2011).
B.
Mit Vollstreckungsgesuch vom 12. September 2011 stellte die Mutter die Anträge, das Besuchs- und Ferienrecht sei für vollstreckbar zu erklären und dem Vater sei für den Fall der Missachtung die Ungehorsamsstrafe von <ref-law> anzudrohen.
Nach Einvernahme der Parteien und der Beiständin des Kindes erklärte das Bezirksgericht Baden mit Entscheid vom 15. Juni 2012 das Eheschutzurteil für vollstreckbar und verpflichtete den Vater, die Tochter jedes zweite Wochenende von Freitag nach Krippenschluss bis Sonntagabend, 19 Uhr, der Mutter auf Besuch zu geben und ihr drei Wochen Ferien zu gewähren, unter Androhung der Straffolgen von <ref-law> im Missachtungsfall.
Mit Entscheid vom 20. August 2013 wies das Obergericht des Kantons Aargau die hiergegen erhobene Beschwerde ab.
C.
Am 4. Oktober 2013 hat X._ gegen diesen Entscheid eine Beschwerde erhoben mit dem Begehren um dessen Aufhebung. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Der angefochtene Entscheid erging in einem Verfahren zur Vollstreckung eines Urteils in Zivilsachen. Solche Entscheide unterliegen gemäss ausdrücklicher Gesetzesvorschrift der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. b Ziff. 1 BGG; Urteil 4A_31/2008 vom 6. März 2008 E. 1). Besuchsrechte sind nicht vermögensrechtlicher Natur, weshalb keine Streitwerterfordernisse gelten. Die Beschwerde ist somit zulässig.
2.
Die Mutter stellte ihr Vollstreckungsgesuch kurz nach Erlass des obergerichtlichen Eheschutzentscheides, noch bevor der Vater dagegen beim Bundesgericht eine Beschwerde in Zivilsachen erhoben hatte. In erster Linie ist strittig, ob diese ex lege aufschiebende Wirkung gemäss <ref-law> hatte oder ob das Besuchsrecht in den Anwendungsbereich von <ref-law> fiel und der obergerichtliche Entscheid deshalb sofort vollstreckbar war (in der Beschwerde in Zivilsachen wurde die aufschiebende Wirkung zwar verlangt, aber nicht erteilt, sondern vielmehr das betreffende Gesuch im Sachentscheid vom 23. Januar 2012 als gegenstandslos abgeschrieben).
2.1. Das Obergericht hat erwogen, im Unterschied zu Leistungsurteilen seien Gestaltungsurteile der Vollstreckung nicht zugänglich. So habe namentlich der Entscheid über die Zuteilung von Obhut und elterlicher Sorge rechtsgestaltende Wirkung, während sich die Ausgestaltung des Besuchs- und Ferienrechts nicht als Gestaltungsurteil qualifiziere, denn mit dieser Regelung sei ein Leistungsbefehl an die gegnerische Partei verbunden. Vorliegend sei über die Zuteilung der Obhut über Y._ bereits mit dem erstinstanzlichen Eheschutzurteil rechtskräftig entschieden worden; Gegenstand des Rechtsmittelverfahrens vor Ober- und Bundesgericht sei einzig noch die Ausgestaltung des Besuchs- und Ferienrechts gewesen. Für das bundesgerichtliche Verfahren sei mithin <ref-law> massgeblich und der obergerichtliche Entscheid vom 15. August 2011 sei somit einstweilig vollstreckbar gewesen.
2.2. Der Beschwerdeführer hält diese Sichtweise für fraglich. Er macht geltend, das Bezirksgericht habe sowohl über das Obhuts- als damit zusammenhängend auch über das Besuchsrecht entschieden. Es erscheine willkürlich, wenn die eine Komponente mit dem Rechtsmittel aufgeschoben würde und die andere sofort vollstreckbar wäre.
2.3. Im Ursprungsverfahren ging es um einen Eheschutzentscheid, welcher im Berufungsverfahren eine vorsorgliche Massnahme darstellt, die nicht unter <ref-law>, sondern in den Anwendungsbereich von <ref-law> fällt (<ref-ruling> E. 4.1 S. 477; <ref-ruling> E. 4.3.1 S. 566 und nicht publ. E. 4.2). Das bedeutet, dass der erstinstanzliche Entscheid insgesamt, d.h. auch mit Bezug auf rechtsgestaltende Punkte wie die Obhutsregelung keine aufschiebende Wirkung ex lege hat, sondern es einer entsprechenden Verfügung des Obergerichtes bedarf. Gleiches gilt für das bundesgerichtliche Verfahren, in welchem Eheschutzentscheide ebenfalls als vorsorgliche Massnahmen im Sinn von <ref-law> gelten (<ref-ruling> E. 5.1 und 5.2 S. 396 f.), was übrigens im Urteil 5A_667/2011 vom 23. Januar 2012 in E. 1.3 festgehalten wurde. Entsprechend ihrer Natur fallen vorsorgliche Massnahmen nicht in den Anwendungsbereich von <ref-law>, welcher restriktiv zu handhaben ist (Urteil 4A_116/2007 vom 27. Juni 2007 E. 2, nicht publ. in <ref-ruling>) und nur Gestaltungsurteile des ordentlichen Verfahrens betrifft (vgl. exemplarische Aufzählung in der Botschaft, BBl 2001 S. 4342), sondern unter die allgemeine Regelung von Art. 103 Abs. 1 und 3 BGG, wonach der Beschwerde in Zivilsachen grundsätzlich keine aufschiebende Wirkung zukommt, diese indes instruktionsweise erteilt werden kann. Davon ging offensichtlich auch der Beschwerdeführer aus, hat er doch im Beschwerdeverfahren 5A_667/2011 die aufschiebende Wirkung verlangt. Indes wurde diese nicht gewährt und das betreffende Gesuch im Sachurteil vom 23. Januar 2012 als gegenstandslos abgeschrieben. Mithin war die Vollstreckbarkeit des obergerichtlichen Entscheides vom 15. August 2011 in keinem Zeitpunkt gehemmt und das Bezirksgericht durfte das Vollstreckungsgesuch vom 12. September 2011 beurteilen.
3.
Mit Bezug auf das Vollstreckungsverfahren kritisiert der Beschwerdeführer, dass das Kind nicht angehört worden sei. Er verweist dabei auf a<ref-law> und diesbezügliche Entscheide.
Vorab ist festzuhalten, dass der frühere <ref-law> durch <ref-law> abgelöst worden ist. Dieser betrifft, wie das auch bei a<ref-law> der Fall war, das Erkenntnisverfahren. Zwar kann ausnahmsweise auch im Vollstreckungsverfahren eine (erneute) Anhörung geboten sein (vgl. Urteil 5A_388/2008 vom 22. August 2008 E. 3; der materielle Entscheid lag mehrere Jahre zurück und es fanden in all den Jahren kaum Kontakte statt, so dass der materielle Entscheid nicht entsprechend vollzogen werden konnte, sondern im Rahmen des Vollstreckungsverfahrens diverse Änderungen im Besuchsregime vorgenommen wurden; sodann war die Anhörung des inzwischen elfjährigen Kindes ausdrücklich verlangt worden). Vorliegend scheitert jedoch der Vorwurf, dass das Kind nicht angehört worden sei, bereits daran, dass der Beschwerdeführer nicht darlegt, ob und wann er im kantonalen Verfahren einen entsprechenden Beweisantrag gestellt hätte. Bei jüngeren Kindern dient nämlich die Anhörung - welche grundsätzlich ab dem vollendeten sechsten Lebensjahr möglich ist (<ref-ruling> E. 1.2.3 S. 557) - ausschliesslich der Sachverhaltsabklärung und muss deshalb im Sinne eines Beweismittels ausdrücklich angerufen werden (vgl. <ref-ruling> E. 1.1 S. 554, E. 1.2.4 S. 557 und E. 1.4 S. 559; sodann Urteile 5C.209/2005 vom 23. September 2005 E. 3.1; 5A_117/2007 vom 11. Oktober 2007 E. 4.2; 5A_626/2009 vom 25. November 2009 E. 5.1; 5A_756/2009 vom 29. Januar 2010 E. 3.1; 5A_397/2011 vom 14. Juli 2011 E. 2.2 und 2.3; 5A_473/2013 vom 6. August 2013 E. 3).
4.
Was die Vollstreckung als solche anbelangt, ist die faktische Durchsetzbarkeit des Besuchsrechts umstritten.
4.1. Das Obergericht hat für den Sachverhalt auf den erstinstanzlichen Vollstreckungsentscheid verwiesen, wonach die Parteien übereinstimmend aussagten, dass Y._ seit Juli 2011 jeden Samstag bei der Mutter verbracht habe. Ausserdem habe sie im Februar 2012 auch bei ihr übernachtet, was gut funktioniert habe. Am nächsten Besuchswochenende habe sie allerdings nicht mehr bei ihr übernachten wollen, weil der neue Freund der Mutter da gewesen sei und sie im Kinderzimmer habe übernachten müssen. Der Vater habe dazu ausgeführt, Y._ dürfe nicht vor vollendete Tatsachen gestellt, sondern nur mit Situationen konfrontiert werden, die für sie eine gewisse Voraussehbarkeit hätten. Die Mutter habe demgegenüber vermutet, dass der Vater die Tochter beeinflusse, und im Übrigen festgehalten, dass sie Y._ jeweils im Voraus telefonisch mitteile, was sie vorhätten. Die Beiständin des Kindes habe als Zeugin gemutmasst, dass Y._ Mühe habe, den Vater alleine zu lassen.
In rechtlicher Hinsicht hat das Obergericht festgehalten, dass die Vollzugsbehörde an rechtskräftige Anordnungen grundsätzlich gebunden sei; Einwänden, welche das Besuchsrecht grundsätzlich und auf Dauer in Frage stellten, sei auf dem Weg der Urteilsabänderung Rechnung zu tragen. Die seit langem praktizierten eintägigen Besuche am Samstag würden problemlos funktionieren und nichts deute auf eine massive Beeinträchtigung, wenn in Vollzug des Erkenntnisurteils die Besuche mit einer Übernachtung stattfinden würden. Gemäss Darstellung des Vaters handle es sich um ein Machtspiel des Kindes; Y._ blocke je nach Tagesverfassung ab und weine fast. Dies deute weder auf eine ernsthafte Weigerung noch auf eine Gefährdung des Kindes, sondern zeuge viel mehr vom fehlenden väterlichen Willen, das Besuchsrecht auf erzieherisch geeignete Art und Weise umzusetzen.
4.2. Soweit der Beschwerdeführer geltend macht, das Besuchsrecht lasse sich nicht polizeilich durchsetzen, übersieht er, dass im angefochtenen Urteil gar nicht die Polizei mit dem Vollzug beauftragt wird, sondern das Besuchsrecht mittels Strafbewehrung indirekt durchgesetzt werden soll. Diese Vollstreckungsmassnahme ist in <ref-law> ausdrücklich genannt und sie ist auch im Zusammenhang mit Besuchsrechten möglich ( KELLERHALS, in: Berner Kommentar, N. 102 zu <ref-law> m.w.H.).
Ferner macht der Beschwerdeführer geltend, wenn die Tochter am Ende des Besuchstages nicht bei der Mutter übernachten, sondern zu ihm zurückkehren wolle, befinde sie sich ja gar nicht in seinem Einflussbereich. Damit lässt sich keine Bundesrechtswidrigkeit darzutun. Im obergerichtlichen Entscheid wird zutreffend festgehalten, dass der Vater als Inhaber der Obhut die Pflicht hat, das Kind positiv auf die Besuchswochenenden vorzubereiten und die Umsetzung des Besuchsrechts in jeder Hinsicht zu fördern (Urteil 5A_505/2013 vom 20. August 2013 E. 6.3). Das heisst, dass er sich nicht einfach hinter den Launen des Kindes verstecken kann und vorschieben darf, dieses wünsche keine ausgedehnteren Kontakte (Urteil 5A_341/2008 vom 23. Dezember 2008 E. 4.3). Darauf, d.h. auf die Umsetzung der beschriebenen väterlichen Erziehungspflichten, welche vorliegend in einer positiven Beeinflussung des Kindes und Förderung des Besuchsrechtes bestehen (vgl. auch <ref-law>), zielt die Strafbewehrung, mit welcher das im Erkenntnisverfahren festgelegte Besuchsrecht verstärkt worden ist.
5.
In seinen Ausführungen wendet sich der Beschwerdeführer schliesslich dagegen, dass der Beschwerdegegnerin im kantonalen Verfahren die unentgeltliche Rechtspflege gewährt wurde. Zu diesem Vorbringen ist er jedoch - unabhängig von der Frage der Beschwer - nicht legitimiert, weil es sich um ein Administrativverfahren zwischen Staat und betroffener Partei handelt (sog. Einparteienverfahren), bei welchem dem anderen Ehegatten keine formelle Parteistellung zukommt ( BÜHLER, in: Berner Kommentar, N. 115 zu <ref-law>).
Sodann hat das Obergericht den Beschwerdeführer verpflichtet, die Parteientschädigung für das zweitinstanzliche Verfahren direkt dem unentgeltlichen Rechtsanwalt der obsiegenden Gegenpartei zu zahlen (Art. 106 Abs. 1 und Art. 122 Abs. 2 ZPO). Der Beschwerdeführer macht geltend, dass ihm damit das Verrechnungsrecht mit den ausstehenden Alimenten genommen werde. Dies trifft zu, aber das Vorgehen des Obergerichtes ist rechtskonform: Die herrschende Lehre geht davon aus, dass der unentgeltliche Rechtsbeistand nicht nur für die subsidiäre staatliche Entschädigung, sondern auch für die prioritäre Parteikostenersatzforderung ein eigenes und persönliches Forderungsrecht hat (Bühler, a.a.O., N. 59 zu <ref-law> mit umfassenden Verweisen auf die Lehre).
6.
Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist, soweit auf sie eingetreten werden kann. Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Der Gegenseite ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- sind dem Beschwerdeführer aufzuerlegen.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 4. Februar 2014
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Möckli