Sachverhalt:
A. C._ ist das am 9. November 1994 geborene Kind von A._ und B._, die im Konkubinat lebten. Am 20. April 2001 zog B._ aus dem gemeinsamen Haushalt aus. Zwischen ihr und A._ bestehen erhebliche Spannungen, die sich u.a. in Differenzen zum persönlichen Verkehr zwischen Vater und Sohn äussern.
B. Mit Beschluss vom 24. November 2003 gewährte die Vormundschaftsbehörde M._ A._ ein Besuchsrecht an jedem ersten und dritten Wochenende des Monats, jeweils von Freitag, 18.00 Uhr, bis Sonntag, 19.00 Uhr (die Freitagabende solange B._ zu dieser Zeit arbeite) sowie ein Ferienrecht von vier Wochen pro Jahr.
Auf Beschwerde von B._ hin beschränkte das Bezirksamt F._ mit Verfügung vom 23. Februar 2004 das Besuchsrecht auf jedes dritte Wochenende im Monat von Samstagmorgen, 10.00 Uhr, bis Sonntagabend, 18.00 Uhr, und das Ferienrecht auf zwei Wochen pro Jahr. Die dagegen von A._ erhobene Beschwerde wies das Obergericht des Kantons Aargau, Kammer für Vormundschaftswesen, mit Entscheid vom 17. Juni 2004 ab.
C. Gegen diesen Entscheid hat A._ am 10. September 2004 Berufung erhoben mit den Begehren, in Aufhebung des angefochtenen Urteils sei für jedes erste und dritte Wochenende ein Besuchsrecht von Freitagabend, 18.00 Uhr, bis Samstagabend (offensichtlich gemeint: Sonntagabend), 19.00 Uhr, sowie ein Ferienrecht von vier Wochen pro Jahr zu gewähren. Mit Berufungsantwort vom 2. November 2004 hat B._ das Begehren gestellt, die Berufung sei abzuweisen, soweit darauf einzutreten sei.

Das Bundesgericht zieht in Erwägung:
1. Soweit der Berufungskläger Ausführungen tatsächlicher Natur macht (Schilderung der bisherigen Besuchspraxis; Erläuterung seines Eindrucks, die Berufungsbeklagte wolle über die Steuerung des Umfangs bzw. die tatsächliche Handhabung des Besuchsrechts Druck auf ihn ausüben, namentlich in finanzieller Hinsicht), ist er nicht zu hören: Wohl lassen die spärlichen kantonalen Sachverhaltsfeststellungen kaum Schlüsse auf die näheren Lebensumstände zu. Indes kann der Berufungskläger einzig geltend machen, der angefochtene Entscheid verletze Bundesrecht (Art. 43 Abs. 1 und Art. 55 Abs. 1 lit. c OG) und entsprechend hat das Bundesgericht seinem Berufungsurteil die Feststellungen der letzten kantonalen Instanz zu Grunde zu legen (Art. 63 Abs. 2 OG); Aktenwidrigkeiten und Unvollständigkeiten - der Berufungskläger macht u.a. geltend, das Obergericht habe kaum Tatsachenfeststellungen getroffen, weshalb ein ausgedehnteres Besuchsrecht nicht angemessen sei, und es habe die Aussagen der Vormundschaftsbehörde M._ und der Beiständin Frau D._ mit keinem Wort gewürdigt - wären mit staatsrechtlicher Beschwerde zu rügen. Dies gilt insbesondere auch für die mit Bezug auf den Bericht der Ergo- und Gestaltungstherapeutin E._ erhobene Rüge der Gehörsverletzung.
2. Eltern, denen die elterliche Sorge oder Obhut nicht zusteht, und das unmündige Kind haben gegenseitig Anspruch auf angemessenen persönlichen Verkehr (<ref-law>).
Die Vorstellungen darüber, was in durchschnittlichen Verhältnissen als angemessenes Besuchsrecht zu gelten habe, gehen in Lehre und Praxis auseinander, wobei regionale Unterschiede festzustellen sind und eine Tendenz zur Ausdehnung des Besuchsrechts besteht (vgl. statt vieler: Schwenzer, in: Basler Kommentar, N. 15 zu <ref-law>). Auch wenn solchen Übungen bei der Bemessung des Besuchsrechts eine gewisse Bedeutung zukommt, kann im Einzelfall nicht allein darauf abgestellt werden (<ref-ruling> E. 2.1 S. 587; <ref-ruling> E. 3a S. 451). Vielmehr gilt als oberste Richtschnur für die Ausgestaltung des Besuchsrechts immer das Kindeswohl, das anhand der Umstände des konkreten Einzelfalls zu beurteilen ist; allfällige Interessen der Eltern haben zurückzustehen (<ref-ruling> E. 2.1 S. 588; <ref-ruling> E. 4a S. 298; <ref-ruling> E. 3b S. 451).
3. In seiner Rechtsprechung zum Besuchsrecht übt das Bundesgericht unter Verweis auf das richterliche Ermessen eine gewisse Zurückhaltung (zur Überprüfung von Ermessensentscheiden im Allgemeinen: <ref-ruling> E. 4a S. 227 f.; <ref-ruling> E. 6a S. 149; zum Besuchsrecht im Besonderen: <ref-ruling> E. 4a S. 235).
Vorliegend ist die abschliessende Beurteilung, welcher Umfang des Besuchs- und Ferienrechts im konkreten Fall angemessen ist, nicht möglich (dazu E. 5 hiernach). Primär ist aber ohnehin die Frage zu beantworten, ob es vor Bundesrecht standhält, weitgehend unbekümmert um die Besonderheiten des Einzelfalls auf eine kantonale Praxis abzustellen, nach welcher das Besuchsrecht bei schlechtem Einvernehmen zwischen den Eltern generell eingeschränkt wird. Dabei geht es um eine Rechtsfrage grundsätzlicher Art, weshalb es nicht gerechtfertigt wäre, wenn das Bundesgericht bei deren Beantwortung Zurückhaltung üben würde.
4. Die kantonale Praxis neigt dazu, das Besuchsrecht im Streitfall weniger grosszügig zu bemessen als bei gutem Einvernehmen der Eltern. Unter Verweis auf das Ermessen des kantonalen Richters hat das Bundesgericht in einem neueren Entscheid eine moderate Einschränkung wegen bestehender Spannungen zwischen den Eltern und eines damit zusammenhängenden, in tatsächlicher Hinsicht erwiesenen Loyalitätskonflikts des Kindes geschützt; konkret ging es um ein Besuchsrecht an jedem dritten statt an jedem zweiten Wochenende sowie um ein Ferienrecht von zwei statt von drei Wochen (Entscheid 5C.176/2001 vom 15. November 2001, E. 2).
In einem weiteren Entscheid hat das Bundesgericht zur Luzerner Praxis jüngst festgehalten, dass Konfliktsituationen, wie sie in jeder Scheidung - analog auch bei der Auflösung eines Konkubinats - auftreten können, nicht zu einer einschneidenden Beschränkung des Besuchsrechts auf unbestimmte Zeit führen dürfen, wenn das Verhältnis zwischen dem besuchsberechtigten Elternteil und dem Kind gut ist (<ref-ruling> E. 2.2.1 S. 589). Das Bundesgericht hat sich dabei von der Überlegung leiten lassen, dass es unhaltbar wäre, wenn der obhutsberechtigte Elternteil es in der Hand hätte, gewissermassen durch Zwistigkeiten mit dem anderen Teil den Umfang des Besuchsrechts zu steuern. Es hat in diesem Sinn auch zu bedenken gegeben, dass für einen allfälligen Loyalitätskonflikt des Kindes in erster Linie die Eltern verantwortlich sind, was ihnen allerdings oftmals nicht bewusst ist, und es hat die Pflicht des obhutsberechtigten Elternteils hervorgehoben, die Beziehung zwischen dem Kind und dem anderen Teil zu fördern und das Kind für die Kontaktpflege positiv vorzubereiten. Zudem hat es auf die Erkenntnis verwiesen, dass aufgrund des schicksalhaften Eltern-Kind-Verhältnisses die Beziehung des Kindes zu beiden Elternteilen sehr wichtig ist und bei dessen Identitätsfindung eine entscheidende Rolle spielen kann. In diesem Zusammenhang hat es auch festgehalten, dass gerade für die Entwicklung der Männlichkeit bei Knaben die Orientierungsmöglichkeit an einer väterlichen Identifikationsfigur von grosser Bedeutung ist.
5. Das Obergericht hat es im Wesentlichen bei einem Verweis auf die kantonale Praxis, wonach das Besuchsrecht bei elterlichen Konflikten einzuschränken sei, bewenden lassen. Das Abstellen auf eine solche Praxis muss jedoch mit der in <ref-ruling> publizierten Rechtsprechung für den Fall, dass das Einvernehmen zwischen besuchsberechtigtem Elternteil und Kind gut ist, als überholt gelten. Die beiläufige Bemerkung im angefochtenen Urteil (S. 13 unten), C._ halte sich sehr gerne bei seinem Vater auf, lässt darauf schliessen, dass dies vorliegend der Fall ist; zudem lässt sich dem erstinstanzlichen Urteil in Ergänzung der obergerichtlichen Sachverhaltsfeststellungen (Art. 64 Abs. 2 OG) entnehmen, dass sich der Vater liebevoll und vorsorglich um seinen Sohn kümmert und der inzwischen immerhin 10-jährige C._ wünscht, mehr Zeit bei seinem Vater verbringen zu dürfen.
Aus <ref-ruling> lässt sich jedoch nicht der Schluss ziehen, dass bei gutem Einvernehmen zwischen Kind und besuchsberechtigtem Elternteil in jedem Fall ein Besuchs- und Ferienrecht üblichen Umfangs zu gewähren sei. Vielmehr hat das Bundesgericht in konstanter Rechtsprechung betont, dass das Kindeswohl oberste Richtschnur bildet und eine Einschränkung des Besuchsrechts angezeigt sein kann, wenn das Kind sonst überfordert wäre (<ref-ruling> E. 2.1 S. 588; <ref-ruling> E. 4a S. 298; <ref-ruling> E. 3b S. 451). Hierfür sind nach der zitierten Rechtsprechung in jedem Fall die näheren Umstände abzuklären, damit im Einzelfall eine angemessene Regelung getroffen werden kann.
Entgegen dieser Abklärungspflicht enthält der angefochtene Entscheid hierzu kaum relevante Feststellungen, und das Obergericht hat es auch nicht für nötig befunden, die beantragten einschlägigen Zeugen anzuhören, sondern es bei der formelhaften Erwägung bewenden lassen, bei der Auflösung des gemeinsamen Haushaltes pflege ein Kind als Folge des Zerwürfnisses zwischen den Elternteilen hin- und hergerissen zu werden, wodurch es belastet werde und leicht in Loyalitätskonflikte geraten könne.
Tatsächlich können solche Belastungen und Loyalitätskonflikte auftreten (Felder, Kinder und ihre Familien in schwierigen psychosozialen Verhältnissen, in: Die Rechte des Kindes/ Das UNO-Übereinkommen und seine Auswirkungen auf die Schweiz, Basel 2001, S. 210), sie sind aber keineswegs eine geradezu notwendige Begleiterscheinung elterlicher Trennung, wie das Obergericht anzunehmen scheint. Ohnehin ist die Beschränkung des Besuchsrechts eine letztlich wenig geeignete Massnahme, um der Tatsache, dass der Wechsel der Bezugsperson bei einem Kind Loyalitätskonflikte hervorrufen kann (BGE <ref-ruling> E. 3b S. 451), zu begegnen. Es ist eine anerkannte kinderpsychologische Tatsache, dass sich die meisten Kinder eine harmonische Beziehung zu beiden Teilen, aber auch eine Versöhnung bzw. eine Wiedervereinigung zwischen den Eltern wünschen (Arnzten, Elterliche Sorge und Umgang mit Kindern, 2. Aufl., München 1994, S. 1 und 33). Dieser Umstand lässt sich durch besuchsrechtliche Restriktionen nicht beseitigen, jedenfalls nicht in grundsätzlicher Weise; insofern sind allfällig auftretende Loyalitätskonflikte des Kindes bis zu einem gewissen Grad als dem Besuchsrecht inhärente Erscheinung hinzunehmen, zumal in der kinderpsychologischen Literatur hervorgestrichen wird, dass die positiven Aspekte regelmässiger Besuche beim anderen Elternteil (namentlich Erleichterung der Trennungsverarbeitung, Ergänzung der Erziehungsstile, Identifizierungsmöglichkeit, Steigerung des Selbstwertgefühls, Beratungsmöglichkeit in der Pubertät und später bei der Berufswahl), die negativen Aspekte (anfängliche Beunruhigungen und mögliche Belastungen) überwiegen und die ungestillte Sehnsucht nach dem abwesenden Elternteil auf die Dauer die stärkeren und schädlicheren psychischen Auswirkungen zeitigt (Arnzten, a.a.O., S. 34 ff.), indem sich das Kind z.B. von diesem Elternteil ein irreales Bild aufbaut. Für den Fall elterlicher Konflikte hat die kinderpsychologische Forschung im Übrigen ergeben, dass Besuche eine entspannende Wirkung haben können, wenn sie richtig angelegt und einige Zeit durchgeführt werden, indem sich die Auswirkungen der Konfliktsituation bei jedem weiteren Besuch mehr und mehr verlieren (Arnzten, a.a.O., S. 43). Das bedingt, dass sich die Eltern bemühen, die Ausübung des Besuchsrechts nicht zum Anlass zu nehmen, ihre gegenseitigen Zwistigkeiten auszutragen.
Nach dem Gesagten genügen jedenfalls die obergerichtlichen Hypothesen in ihrer allgemeinen Form nicht, um das Besuchsrecht ohne nähere Abklärungen zum Einzelfall einzuschränken. Wie oben ausgeführt würde sich dies einzig dann rechtfertigen, wenn aufgrund der tatsächlichen Umstände davon auszugehen wäre, dass die Gewährung des üblichen Besuchs- und Ferienrechts das Kindeswohl gefährden würde. Mangels konkreter Feststellungen im angefochtenen Entscheid bleibt unklar, ob dies vorliegend der Fall ist, weshalb das Bundesgericht die korrekte Anwendung des einschlägigen Bundesrechts nicht abschliessend beurteilen kann. Die Sache ist demnach zur Vervollständigung des Sachverhaltes an die Vorinstanz zurückzuweisen (Art. 64 Abs. 1 OG).
6. Zusammenfassend ergibt sich, dass die Berufung dahingehend gutzuheissen ist, dass der angefochtene Entscheid aufzuheben und die Sache zur neuen Beurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen ist. Wenn es dem Bundesgericht aufgrund der ungenügenden kantonalen Sachverhaltsfeststellungen auch verwehrt ist, in der Sache selbst zu entscheiden, ist der Berufungskläger doch im Grundsatz durchgedrungen, weshalb die Gerichtsgebühr der Berufungsbeklagten aufzuerlegen (Art. 156 Abs. 1 OG) und diese überdies zu verpflichten ist, dem Berufungskläger die Parteikosten zu ersetzen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1. Die Berufung wird dahingehend gutgeheissen, dass der Entscheid des Obergerichts des Kantons Aargau, Kammer für Vormundschaftswesen, vom 17. Juni 2004 aufgehoben und die Sache zur Vervollständigung des Sachverhaltes und neuen Beurteilung an die Vorinstanz zurückgewiesen wird.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird der Berufungsbeklagten auferlegt.
3. Die Berufungsbeklagte hat den Berufungskläger für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Kammer für Vormundschaftswesen, als zweitinstanzliche vormundschaftliche Aufsichtsbehörde, schriftlich mitgeteilt.
Lausanne, 19. Januar 2005
Im Namen der II. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: