Sachverhalt: A. X._ und Y._ heirateten im Oktober 2000 vor dem Zivilstandsamt S._. Sie haben die gemeinsamen Kinder A._, geb. 1987, und B._, geb. 1998. B. Gestützt auf die am 7. Juni 2004 von Y._ eingeleitete Klage schied der Gerichtspräsident von T._ die Ehe der Parteien mit Urteil vom 30. August 2005. Dabei teilte er die elterliche Sorge über B._ der Mutter zu, unter Gewährung eines Besuchsrechts für den Vater von einem Samstag und einem Wochenende pro Monat im ersten halben Jahr und anschliessend von zwei Wochenenden pro Monat sowie eines Ferienrechts von zwei Wochen pro Jahr. In ihren Appellationen wandten sich beide Parteien u.a. gegen die Regelung des persönlichen Verkehrs mit der Tochter. Der Vater forderte ein Ferienrecht von drei Wochen, während die Mutter eine Beschränkung des Besuchsrechts auf zwei Tage pro Monat verlangte. In seinem Urteil vom 17. August 2006 wies das Obergericht des Kantons Aargau hinsichtlich des persönlichen Verkehrs beide Appellationen ab. C. Dagegen sowie gegen die Kostenverlegung hat die Mutter am 20. Dezember 2006 Berufung erhoben mit den Begehren um diesbezügliche Aufhebung der Urteile des Obergerichts sowie des Gerichtspräsidiums T._, um Rückweisung der Sache an die Vorinstanz zur Abnahme weiterer Beweise betreffend das Besuchsrecht, insbesondere zur Anhörung von B._. In seiner Berufungsantwort vom 31. Mai 2007 hat der Vater ausdrücklich auf die Stellung eines Antrages verzichtet. Beide Parteien verlangen die unentgeltliche Rechtspflege.