Sachverhalt:
A. X._ und Y._ heirateten im Oktober 2000 vor dem Zivilstandsamt S._. Sie haben die gemeinsamen Kinder A._, geb. 1987, und B._, geb. 1998.
B. Gestützt auf die am 7. Juni 2004 von Y._ eingeleitete Klage schied der Gerichtspräsident von T._ die Ehe der Parteien mit Urteil vom 30. August 2005. Dabei teilte er die elterliche Sorge über B._ der Mutter zu, unter Gewährung eines Besuchsrechts für den Vater von einem Samstag und einem Wochenende pro Monat im ersten halben Jahr und anschliessend von zwei Wochenenden pro Monat sowie eines Ferienrechts von zwei Wochen pro Jahr.
In ihren Appellationen wandten sich beide Parteien u.a. gegen die Regelung des persönlichen Verkehrs mit der Tochter. Der Vater forderte ein Ferienrecht von drei Wochen, während die Mutter eine Beschränkung des Besuchsrechts auf zwei Tage pro Monat verlangte. In seinem Urteil vom 17. August 2006 wies das Obergericht des Kantons Aargau hinsichtlich des persönlichen Verkehrs beide Appellationen ab.
C. Dagegen sowie gegen die Kostenverlegung hat die Mutter am 20. Dezember 2006 Berufung erhoben mit den Begehren um diesbezügliche Aufhebung der Urteile des Obergerichts sowie des Gerichtspräsidiums T._, um Rückweisung der Sache an die Vorinstanz zur Abnahme weiterer Beweise betreffend das Besuchsrecht, insbesondere zur Anhörung von B._. In seiner Berufungsantwort vom 31. Mai 2007 hat der Vater ausdrücklich auf die Stellung eines Antrages verzichtet. Beide Parteien verlangen die unentgeltliche Rechtspflege.

Das Bundesgericht zieht in Erwägung:
1. Am 1. Januar 2007 ist das Bundesgesetz über das Bundesgericht (BGG; SR 173.110) in Kraft getreten (AS 2006 1205, 1243). Der angefochtene Entscheid ist vorher ergangen, so dass noch die Bestimmungen des Bundesrechtspflegegesetzes (OG) anzuwenden sind (vgl. <ref-law>).
Der Berufung unterliegen nur Endentscheide der oberen kantonalen Gerichte (Art. 48 Abs. 1 OG), weshalb die Berufung unzulässig ist, soweit auch Aufhebung des erstinstanzlichen Urteils verlangt wird.
2. Die Mutter macht eine Verletzung von Art. 144 Abs. 2 und <ref-law> sowie der UNO-Kinderrechtskonvention (KRK) geltend. Weder eines der kantonalen Gerichte noch eine damit beauftragte Drittperson hätten die Tochter angehört. Das Obergericht habe ihre ausdrücklichen Beweisanträge auf Abklärung durch eine Fachperson, auf einen aktuellen Bericht des Beistandes, auf Anhörung der Tochter und auf Befragung von A._ abgewiesen. Im Übrigen macht die Mutter materielle Ausführungen zu Umfang und Modalitäten des Besuchsrechtes.
Die bundesrechtliche Norm von <ref-law> konkretisiert einerseits die aus Art. 12 KRK fliessenden konventionsrechtlichen Garantien und setzt andererseits den Anspruch des Kindes auf rechtliches Gehör sowie den in diesem Bereich geltenden Untersuchungsgrundsatz um. Deshalb treten die (ebenfalls als verletzt gerügten) konventionsrechtlichen Ansprüche vor der bundesprivatrechtlichen Spezialnorm zurück, zumal diese wesentlich über Art. 12 KRK hinausgeht (vgl. <ref-ruling> E. 1.1). Im Folgenden wird somit geprüft, ob <ref-law> verletzt ist.
3. Sind Anordnungen über Kinder zu treffen, werden diese durch das Gericht oder eine beauftragte Drittperson persönlich angehört, soweit nicht ihr Alter oder andere wichtige Gründe dagegen sprechen (<ref-law>). Was den Ausschlussgrund des (mangelnden) Alters des Kindes anbelangt, hat das Bundesgericht die Schwelle im Sinn einer Richtlinie auf den Zeitpunkt des vollendeten sechsten Altersjahres festgelegt (<ref-ruling> E. 1.2.3).
Beim erstinstanzlichen Urteil war B._ sieben und beim obergerichtlichen Urteil sogar acht Jahre alt. Dass somit der Ausschlussgrund des Kindesalters nicht gegeben war und dem in zweiter Instanz ausdrücklich gestellten Antrag auf Anhörung grundsätzlich hätte stattgegeben werden müssen (<ref-ruling> E. 1.2.4), hat implizit auch das Obergericht anerkannt. Es hat jedoch befunden, auf eine eigene Anhörung verzichten zu können, wenn eine solche bereits im Rahmen einer Begutachtung stattgefunden habe und keine zusätzlichen Erkenntnisse zu erwarten seien.
4. Die Anhörung des Kindes durch den Richter selbst und diejenige durch eine beauftragte Drittperson stehen nach dem Wortlaut von <ref-law> auf der gleichen Stufe. Gemäss bundesgerichtlicher Rechtsprechung soll zwar der Richter die Anhörung in der Regel selbst vornehmen und sie jedenfalls nicht systematisch an Dritte delegieren; ebenso wenig sollen aber die vom Gesetz gewährten Spielräume unnötig beschränkt werden: Während der Anhörung durch den urteilenden Richter der Vorzug der Unmittelbarkeit innewohnt, wird dieser oft weniger an spezifischer Ausbildung und Erfahrung aufweisen als eine Fachperson (<ref-ruling> E. 2a und 2b). So oder anders ist eine Anhörung um der Anhörung willen zu vermeiden. Insbesondere ist von wiederholten Anhörungen abzusehen, wo dies für das Kind eine unzumutbare Belastung bedeuten würde, was namentlich bei akuten Loyalitätskonflikten der Fall sein kann, und überdies keine neuen Erkenntnisse zu erwarten wären oder der erhoffte Nutzen in keinem vernünftigen Verhältnis zu der durch die erneute Befragung verursachten Belastung stünde (Entscheide 5P.322/2003, E. 3.2, in: FamPra.ch 2004, S. 711; 5C.247/2004, E. 6.3.2). Diesfalls hat der Richter bei seinem Entscheid auf die Ergebnisse der Anhörung durch die Drittperson abzustellen. Dabei kann es sich auch um ein Gutachten handeln, das in einem anderen Verfahren in Auftrag gegeben worden ist. Ausschlaggebend muss sein, dass es sich beim Dritten um eine unabhängige und qualifizierte Fachperson handelt, dass das Kind zu den entscheidrelevanten Punkten befragt worden ist und dass die Anhörung bzw. deren Ergebnis aktuell ist.
5. Im vorliegenden Fall hat das Obergericht auf einen Therapiebericht von K._, Fachpsychologin für Kinder- und Jugendpsychologie FSP, vom 15. Juni 2004 sowie auf ein Schreiben des damaligen Erziehungsbeistandes L._, Amtsvormund des Bezirks T._, vom 25. Mai 2005 verwiesen.
Ersterer berichtet über die therapeutische Begleitung von B._ im Zusammenhang mit dem seinerzeitigen Verdacht auf sexuelle Ausbeutung. Im Bericht wird ausdrücklich festgehalten, dass eine Befragung oder eine Begutachtung aus dem therapeutischen Auftrag ausgeschlossen worden sei. Es werden denn auch keine Gespräche zwischen Therapeutin und Kind wiedergegeben. Im Übrigen stammt der Bericht aus der Zeit der Klageanhebung und kann bei der über zwei Jahre später erfolgten obergerichtlichen Beurteilung nicht mehr als aktuell gelten, zumal sich die Verhältnisse gerade bei kleineren Kindern schnell ändern können.
Das Schreiben des Amtsvormundes ist an die Parteien gerichtet. Es steht zwar insofern in losem Zusammenhang mit der vorliegend interessierenden Besuchsrechtsfrage, als sich B._ diesem gegenüber positiv über bisherige Besuche beim Vater geäussert hat. Abgesehen davon, dass eine "Anhörung" durch den Erziehungsbeistand im Rahmen der Besuchsrechtsausübung ungenügend wäre (Entscheid 5P.276/2005, E. 3.2), hat das Schreiben aber gar keine Anhörung zum Gegenstand und wäre es im Übrigen auch zu oberflächlich.
6. Nach dem Gesagten ist Ziff. 2 des angefochtenen Entscheides aufzuheben, und die Sache ist zur Durchführung der Anhörung von B._, je nach deren Verlauf gegebenenfalls zur Abnahme weiterer Beweise (<ref-law>) und zur anschliessenden materiellen Neubeurteilung an das Obergericht zurückzuweisen. Antragsgemäss ist ferner die vom Ausgang der Hauptsache abhängige Kostenfestsetzung in Ziff. 3 und 4 aufzuheben.
7. Der Vater hat mit Verweis auf die Rechtsprechung des Bundesgerichts und mit der Begründung, selbst an der Anhörung von B._ interessiert zu sein, ausdrücklich auf die Stellung eines abweisenden Antrages verzichtet. Sodann hat er sich im kantonalen Verfahren nie gegen die Anhörung des Kindes gestellt, weshalb das gerichtliche Versäumnis nicht ihm angelastet werden kann, und überdies war er im bundesgerichtlichen Verfahren zur Einreichung einer Berufungsantwort gehalten. Vor diesem Hintergrund kann er, wie in der Berufungsantwort zu Recht festgehalten wird, nicht als unterliegende Partei im Sinn von Art. 156 Abs. 1 und Art. 159 Abs. 2 OG angesehen werden. Vielmehr hat der Kanton Aargau für die beidseitigen Parteikosten aufzukommen (vgl. <ref-ruling> E. 5; <ref-ruling> E. 6b; <ref-ruling> nicht publ. E. 5; Entscheide 5P.378/1997, E. 4; 2A.24/1995, E. 3). Von der Erhebung einer Gerichtsgebühr ist abzusehen (Art. 156 Abs. 2 OG). Damit werden die Gesuche um unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Berufung werden die Ziff. 2-4 des Urteils des Obergerichts des Kantons Aargau vom 17. August 2006 aufgehoben, und die Sache wird im Sinn der Erwägungen an das Obergericht zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Aargau hat für das bundesgerichtliche Verfahren beide Parteien mit je Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 5. Juli 2007
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: