Sachverhalt: A. C._ ist das am 9. November 1994 geborene Kind von A._ und B._, die im Konkubinat lebten. Am 20. April 2001 zog B._ aus dem gemeinsamen Haushalt aus. Zwischen ihr und A._ bestehen erhebliche Spannungen, die sich u.a. in Differenzen zum persönlichen Verkehr zwischen Vater und Sohn äussern. B. Mit Beschluss vom 24. November 2003 gewährte die Vormundschaftsbehörde M._ A._ ein Besuchsrecht an jedem ersten und dritten Wochenende des Monats, jeweils von Freitag, 18.00 Uhr, bis Sonntag, 19.00 Uhr (die Freitagabende solange B._ zu dieser Zeit arbeite) sowie ein Ferienrecht von vier Wochen pro Jahr. Auf Beschwerde von B._ hin beschränkte das Bezirksamt F._ mit Verfügung vom 23. Februar 2004 das Besuchsrecht auf jedes dritte Wochenende im Monat von Samstagmorgen, 10.00 Uhr, bis Sonntagabend, 18.00 Uhr, und das Ferienrecht auf zwei Wochen pro Jahr. Die dagegen von A._ erhobene Beschwerde wies das Obergericht des Kantons Aargau, Kammer für Vormundschaftswesen, mit Entscheid vom 17. Juni 2004 ab. C. Gegen diesen Entscheid hat A._ am 10. September 2004 Berufung erhoben mit den Begehren, in Aufhebung des angefochtenen Urteils sei für jedes erste und dritte Wochenende ein Besuchsrecht von Freitagabend, 18.00 Uhr, bis Samstagabend (offensichtlich gemeint: Sonntagabend), 19.00 Uhr, sowie ein Ferienrecht von vier Wochen pro Jahr zu gewähren. Mit Berufungsantwort vom 2. November 2004 hat B._ das Begehren gestellt, die Berufung sei abzuweisen, soweit darauf einzutreten sei.