Sachverhalt:
A. Mit Eheschutzentscheid vom 4. August 2004 regelte das Gerichtspräsidium Z._ die Nebenfolgen des Getrenntlebens der Parteien und sprach dem Vater ein Besuchsrecht gegenüber der 1997 geborenen Tochter A._ von Freitag- bis Sonntagabend am ersten und dritten Wochenende eines jeden Monats sowie ein Ferienrecht von zwei Wochen pro Jahr zu.
B. Am 7. Oktober 2005 stellte der Vater ein Vollstreckungsgesuch, welches der Gerichtspräsident von B._ am 11. September 2007 abwies.
Auf Beschwerde des Vaters hin befahl das Obergericht des Kantons Aargau der Mutter mit Urteil vom 21. April 2008, das Kind A._ dem Vater zur Ausübung des Besuchsrechts zu übergeben, und zwar während drei Monaten am ersten und dritten Sonntag eines jeden Monats von 9 bis 18 Uhr an einem neutralen Ort (d.h. nicht dem elterlichen Hof) mit sich, in den folgenden drei Monaten zu den gleichen Zeiten ohne räumliche Einschränkung zu oder mit sich und danach gemäss Entscheid vom 4. August 2004.
C. Gegen diesen Vollstreckungsentscheid hat die Mutter am 13. Juli 2008 Beschwerde in Zivilsachen erhoben mit den Begehren um dessen Aufhebung und um Abweisung des Vollstreckungsgesuchs. Sodann verlangt sie die unentgeltliche Rechtspflege. Mit Verfügung vom 1. Juli 2008 wurde der Beschwerde präsidialiter die aufschiebende Wirkung erteilt. Das Obergericht hat auf eine Vernehmlassung verzichtet. Der Vater hat in seiner Vernehmlassung vom 24. Juli 2008 auf Abweisung der Beschwerde geschlossen.

Erwägungen:
1. Beim Anfechtungsobjekt handelt es sich um einen kantonal letztinstanzlichen Endentscheid betreffend Vollstreckung einer nicht vermögensrechtlichen Zivilsache; die Rechtsmittelfrist ist eingehalten und die Beschwerde ist damit zulässig (Art. 72 Abs. 2 lit. b Ziff. 1, Art. 75 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG).
Zum einen ergehen Vollstreckungsentscheide auf der Grundlage des kantonalen Zivilprozessrechts und zum anderen ist bereits der zu vollstreckende Eheschutzentscheid eine vorsorgliche Massnahme im Sinn von <ref-law> (<ref-ruling> E. 5 S. 396 f.). Mit der Beschwerde kann deshalb nur die Verletzung verfassungsmässiger Rechte geltend gemacht werden. Zur Anwendung gelangt diesbezüglich das Rügeprinzip (<ref-law>), weshalb auf die Beschwerde insoweit nicht einzutreten ist, als die Mutter ihre eigene Sicht der Dinge ohne konkrete Bezugnahme auf den angefochtenen Entscheid schildert.
2. Die Mutter macht geltend, das Kind A._ hätte vom Obergericht entsprechend den gestellten Verfahrensanträgen angehört und begutachtet werden müssen. Sie rügt in diesem Zusammenhang die Verletzung der Untersuchungsmaxime und des Willkürverbots. Im Übrigen gehe es nicht darum, ob die am 4. August 2004 richterlich getroffene Lösung seinerzeit adäquat gewesen sei, sondern ob die Vollstreckung im heutigen Zeitpunkt mit dem Kindeswohl vereinbart werden könne, nachdem das Besuchsrecht nie ausgeübt worden sei und sich A._ der Ausübung strikt verweigere.
3. <ref-law> bestimmt, dass bei Anordnungen über Kinder diese in geeigneter Weise durch das Gericht oder durch eine beauftragte Drittperson persönlich anzuhören sind, soweit nicht ihr Alter oder andere wichtige Gründe dagegen sprechen. Diese Norm findet auf alle gerichtlichen Verfahren Anwendung, in denen Kinderbelange zu regeln sind (vgl. auch <ref-law> bezüglich Kindesschutzmassnahmen); sie gilt deshalb nicht nur im Scheidungs-, sondern auch im Eheschutzverfahren, bei vorsorglichen Massnahmen im Sinn von <ref-law> und im Abänderungsverfahren nach <ref-law> (vgl. <ref-ruling> E. 1.1). Gleiches gilt für die Untersuchungsmaxime gemäss <ref-law>, die als allgemeiner Grundsatz ebenfalls in allen Kinderbelangen zur Anwendung kommt.
Vorliegend geht es nicht um ein materielles Erkenntnis-, sondern um ein Vollstreckungsverfahren. In diesem darf der zu vollstreckende Entscheid nicht materiell überprüft werden, auch nicht indirekt dadurch, dass die Vollstreckung auf Dauer verweigert wird (vgl. <ref-ruling> E. 7 S. 305; <ref-ruling> E. 2 S. 373); bei dauerhafter Änderung der Besuchsrechtsordnung hat vielmehr der Sachrichter neu zu entscheiden, weshalb die Suspendierung während der Dauer eines Abänderungsverfahrens in der Regel nicht willkürlich ist (<ref-ruling> E. 4c S. 393 f.).
Im vorliegenden Fall besteht die Besonderheit, dass die Vollstreckung eines vier Jahre alten Entscheides verlangt wird, und dies, nachdem der Vater das Kind nach den Feststellungen im angefochtenen Entscheid seit dem 12. März (E. 4.5) bzw. 4. August 2004 (E. 2.1) nur sehr selten gesehen hat und das Besuchsrecht während der ganzen Zeit kaum ausgeübt worden ist. Dazu kommt, dass nach den verbindlichen kantonalen Sachverhaltsfeststellungen das Verhältnis zwischen den Eltern des Kindsvaters, auf deren Bauernhof er lebt und arbeitet, und der Kindsmutter - auch wenn die angeblichen Handgreiflichkeiten und verbalen Attacken der Grosseltern bestritten sind (offenbar musste aber die Polizei geholt werden) - schwer gestört ist und A._ Angst hat, auf den Hof zu gehen (E. 2.1 und 4.1.3).
Aufgrund dieser besonderen Situation hat das Obergericht denn auch nicht einfach die Vollstreckung des (ein Besuchsrecht von Freitag- bis Sonntagabend vorsehenden) Entscheides angeordnet, sondern das Besuchsrecht aufgrund des ausserordentlich langen Kontaktunterbruchs und der dadurch offensichtlich hervorgerufenen Entfremdung zwischen Vater und Tochter vollstreckungsmässig dahingehend modifiziert, dass vorerst nur ein Besuchsrechtstag ausserhalb des elterlichen Hofes, anschliessend ein nicht ortsgebundener Besuchsrechtstag und erst in einer dritten Stufe das volle Besuchsrecht ausgeübt werden darf. Damit hat das Obergericht - was in der betreffenden Situation nicht zu beanstanden ist, weil die Maxime des Kindeswohls auch im Vollstreckungsverfahren gilt - von der Sache her materiell in die Rechtslage eingegriffen, und es hat seinen Entscheid denn auch mit einer eigentlichen materiellen Begründung versehen.
In dieser besonderen Situation hätte A._ aber angehört werden müssen, nachdem eine Anhörung grundsätzlich ab dem vollendeten sechsten Altersjahr möglich (<ref-ruling> E. 1.2.3 S. 557), A._ inzwischen elf Jahre alt und vor Obergericht auch ein entsprechender Antrag gestellt worden ist, und nachdem sich die Streitigkeit im Kern um die von der Mutter behaupteten Ängste von A._ vor dem Vater sowie dessen Umfeld drehte. Hierfür durfte das Obergericht nicht einfach darauf abstellen, dass die Mutter seinerzeit gegen den Eheschutzentscheid kein Rechtsmittel ergriffen hatte, und daraus ableiten, die Ausübung des Besuchsrechts beim Vater sei als unproblematisch erachtet worden (E. 3). Inzwischen sind vier Jahre vergangen und in dieser Zeit haben kaum Kontakte stattgefunden, so dass die Tochter dem Vater offensichtlich entfremdet ist und daher eine ganz andere Situation vorliegt. Dazu kommt, dass sie eine Aufnahme der Besuche strikt ablehnt und es sich dabei um die Willensäusserung eines inzwischen elfjährigen Mädchens handelt. Ohne Kindesanhörung war es dem Gericht in dieser Situation weder möglich, sich ein eigenes und umfassendes Bild von der Meinung und Sichtweise von A._ zu machen, noch davon, ob die Verweigerungshaltung auf einem mehr oder weniger autonom gebildeten Kindeswillen gründet oder ob A._ von ihrer Mutter instrumentalisiert wird, wie dies vom Vater geltend gemacht wird.
Zu all diesen zentralen Fragen können letztlich nur die Ausführungen des Kindes selbst aussagekräftige Entscheidgrundlagen liefern, weshalb sich das Obergericht nicht allein auf die zahlreichen, im angefochtenen Entscheid wiedergegebenen fremden Quellen (Aussagen der Eltern, der Vormundschaftsbehörde, der Sozialdienste) sowie die anlässlich eines Verfahrens auf Errichtung einer Beistandschaft Ende 2006 oder anfangs 2007 gegenüber der Sozialarbeiterin C._ gemachte, jedoch nicht bei den Akten liegende Äusserung des Kindes hätte stützen und darüber mutmassen dürfen, ob und inwiefern das Kind durch die elterlichen und grosselterlichen Auseinandersetzungen betroffen sein könnte (E. 4.5).
4. Infolge Rückweisung zur Anhörung des Kindes werden die weiteren Vorbringen (welche der Parteien sich wie viel oder wie wenig um Kontakte bemüht hat oder allenfalls sogar rechtsmissbräuchlich handelt, insbesondere aber auch die Ausführungen im Zusammenhang mit dem Kindeswohl) gegenstandslos; im Übrigen könnte die Kontroverse über die Frage des Kindeswohls ohne Anhörung ohnehin materiell nicht adäquat beantwortet werden.
5. Mit der Rückweisung zur Kindesanhörung ist die Angelegenheit in der Sache offen, weshalb praxisgemäss die Gerichtskosten hälftig zu teilen und die Parteikosten wettzuschlagen sind.
Angesichts der offensichtlichen Prozessarmut der Mutter ist deren Gesuch um unentgeltliche Rechtspflege gutzuheissen (<ref-law>) und ist ihr Rolf Liniger als unentgeltlicher Anwalt beizugeben (<ref-law>); dieser ist aus der Gerichtskasse zu entschädigen und ihr Gerichtskostenanteil ist einstweilen auf die Gerichtskasse zu nehmen.

Demnach erkennt das Bundesgericht:
1. In Gutheissung des Eventualbegehrens wird das Urteil des Obergerichts des Kantons Aargau vom 21. April 2008 aufgehoben und die Sache zur Anhörung des Kindes A._ sowie zur neuen Entscheidung an das Obergericht zurückgewiesen.
2. Der Beschwerdeführerin wird die unentgeltliche Rechtspflege erteilt und es wird ihr Rolf Liniger als unentgeltlicher Anwalt beigegeben.
3. Die Gerichtskosten von Fr. 2'000.-- werden den Parteien je zur Hälfte auferlegt, der Beschwerdeführerin unter Vorbehalt der unentgeltlichen Rechtspflege.
4. Rechtsanwalt Rolf Liniger wird für das bundesgerichtliche Verfahren aus der Gerichtskasse mit Fr. 2'000.-- entschädigt.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 22. August 2008
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Raselli Möckli