Sachverhalt:
A. X._ und Z._ sind die unverheirateten Eltern des am xxxx 2005 geborenen Kindes Y._.
Mit Beschluss vom 14. Oktober 2005 genehmigte die Vormundschaftsbehörde A._ eine Vereinbarung der Eltern vom 16. September 2005. Diese enthielt den Antrag auf Übertragung der elterlichen Sorge an beide Elternteile. Bei Auflösung des gemeinsamen Haushaltes sollte das Obhutsrecht auf die Mutter übergehen und dem Vater im Konfliktfall ein Besuchsrecht an jedem zweiten Wochenende von Freitag- bis Sonntagabend sowie ein Ferienrecht von vier Wochen zustehen.
Im Sommer 2006 lösten die Eltern den gemeinsamen Haushalt auf.
Am 3. August 2007 ernannte die Vormundschaftsbehörde A._ einen Beistand für die Ausübung des Besuchsrechts.
B. Mit Beschluss vom 10. September 2008 sah die Vormundschaftsbehörde von der seitens des Beistandes verlangten Erstellung eines Gutachtens durch den KJPD ab und wies die Eltern stattdessen an, die Beratung und Mediation durch eine Fachperson in Anspruch zu nehmen.
In teilweiser Gutheissung der väterlichen Beschwerde wies der Regierungsrat des Kantons Schwyz die Sache mit Entscheid vom 12. Mai 2009 an die Vormundschaftsbehörde zurück und hob die Anweisung zur Mediation auf.
Mit Beschluss vom 26. Juni 2009 regelte die Vormundschaftsbehörde in einem umfangreichen Dispositiv mit detaillierten Angaben zum einen das Besuchsrecht (jedes zweite Wochenende von Freitag- bis Sonntagabend) und das Ferienrecht (vier Wochen pro Jahr), wobei ohne väterliches Verschulden unterbliebene Besuche bzw. Ferientage nachzuholen seien, und zum andern die gegenseitige Verpflichtung zur Auskunft. Den Entscheid über das väterliche Begehren um eine zusätzliche Besuchszeit von Montag- bis Dienstagabend schob es bis zum Vorliegen eines Gutachtens des KJPD auf. Die Begehren um Abgabe einer Legaldefinition der elterlichen Sorge, um Verpflichtung zum Aufsuchen einer Fachstelle bei Uneinigkeiten und um Strafandrohung gemäss Art. 292 StGB wies es ab.
Mit Beschluss vom 10. November 2009 bzw. Entscheid vom 29. April 2010 wiesen der Regierungsrat und das Verwaltungsgericht des Kantons Schwyz die vom Vater erhobene Beschwerde ab.
C. Gegen den Entscheid des Verwaltungsgerichts hat X._ am 2. Juni 2010 eine Beschwerde in Zivilsachen mit rund 20 Begehren eingereicht, die zusammengefasst dahingehen, dass endlich im Kindeswohl zu entscheiden sei und nicht einfach die gemeinsame elterliche Sorge ignoriert werden dürfe, dass eventualiter eine ganzheitliche Regelung zur Ausübung der gemeinsamen elterlichen Sorge zu erlassen sei, in welcher ihm zusätzlich ein Besuchsrecht von Montag- bis Dienstagabend einzuräumen sei und er alle verpassten Besuche nachholen dürfe, eine Drittbetreuung untersagt sei, ihm ein Ferienrecht von mindestens acht Wochen zuzugestehen und die Mutter zu verpflichten sei, zu kooperieren und über alle besonderen Ereignisse zu informieren wie Hautkrankheit, Schlaf, Gesundheit, Freunde, Fremdbetreuung, Besuche, Ferien, Wochenstruktur, Entwicklungsschritte, Langfristplanung, Krippe und Geld des Kindes (zu jedem Punkt mit einer langen Auflistung von Details). Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer nicht vermögensrechtlichen Zivilsache. Die Beschwerde in Zivilsachen steht offen (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 90 BGG).
In rechtlicher Hinsicht sind alle Rügen gemäss Art. 95 f. BGG zulässig und das Bundesgericht wendet in diesem Bereich das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), was heisst, dass es behauptete Rechtsverletzungen (Art. 42 Abs. 2 BGG) mit freier Kognition prüft.
Dagegen ist das Bundesgericht an den festgestellten Sachverhalt grundsätzlich gebunden (Art. 105 Abs. 1 BGG). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (Art. 97 Abs. 1 BGG), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; <ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398), oder er beruhe auf einer anderen Rechtsverletzung im Sinn von Art. 95 BGG (z.B. Art. 29 Abs. 2 BV oder Art. 8 ZGB). Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; <ref-ruling> E. 2.2.2 S. 22). Für all diese Elemente gilt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.2 S. 255). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
2. Nach dem Gesagten hat das Bundesgericht seinem Entscheid die kantonalen Sachverhaltsfeststellungen zugrunde zu legen. Der Beschwerdeführer kritisiert zwar explizit oder implizit verschiedene Feststellungen und er ruft in abstrakter Weise auch verschiedene verfassungsmässige Rechte an (Art. 9, 11 und 29 BV). Die Beschwerde ist aber rein appellatorisch begründet, indem der Beschwerdeführer ausführlich seine eigene Sicht der Dinge schildert (wie er bis zur Aufhebung des gemeinsamen Haushaltes gleichberechtigte Betreuungsperson gewesen sei, wie die Mutter das Kind in der Folge einseitig annektiert habe und ihn jetzt ihre Macht spüren lasse bzw. ihn demütige, indem sie ihm das Kind nur noch an wenigen Tage überlasse und ihm sämtliche Informationen über dessen Leben vorenthalte). Mit solchen allgemeinen Ausführungen lässt sich jedoch keine Verletzung des Willkürverbotes oder anderer verfassungsmässiger Rechte darzutun. Wie in E. 1 festgehalten, müsste der Beschwerdeführer unter Bezugnahme auf einzelne Aktenstellen bzw. Erwägungen detailliert aufzeigen, inwiefern das Verwaltungsgericht jeweils gegen welche verfassungsmässige Norm verstossen haben soll; ausserdem müsste auch dargelegt werden, inwiefern der betreffende Verstoss für den Verfahrensausgang entscheidend wäre. Auf die Beschwerde kann mithin nicht eingetreten werden, soweit explizit oder implizit Kritik an den Sachverhaltsfeststellungen des Verwaltungsgerichts geübt wird.
Auf die Beschwerde kann auch insoweit nicht eingetreten werden, als der Beschwerdeführer die involvierten kantonalen und kommunalen Behörden in einer aufsichtsrechtlich relevanten Weise kritisiert (diese würden untätig bleiben, ihn als Vater nicht ernst nehmen und die Mutter beim systematischen psychischen Missbrauchs des Kindes gewähren lassen und sich damit einer Beihilfe zum Kindsmissbrauch schuldig machen); das Bundesgericht übt keine administrative Aufsicht und Disziplinargewalt über die betreffenden Behörden aus.
Sodann fehlt dem Beschwerdeführer jede Beschwer und damit ein schutzwürdiges Interesse (Art. 76 Abs. 1 lit. b BGG), soweit er mit seinen Anträgen Dinge verlangt, die ihm im kantonalen Verfahren bereits zugestanden worden sind (z.B. Nachholen von Besuchs- und Ferientagen, die ohne sein Verschulden unterblieben sind; Auskünfte zu den in der vormundschaftlichen Verfügung aufgelisteten Punkten wie Hautkrankheit, wesentliche Entwicklungsschritte, etc.).
Keine selbständige Bedeutung haben die Begehren um Feststellung, dass die Mutter die gemeinsame elterliche Sorge nicht einfach einseitig für nichtig erklären könne, dass die Bedürfnisse des Kindes und die tatsächliche Lebenssituation der Eltern nicht einfach ignoriert werden dürfe, etc.; diese Anliegen gehen im nachfolgend zu treffenden Sachentscheid auf.
3. In der Sache selbst kommt dem Bundesgericht umfassende Kognition zu und es wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG).
3.1 Was den vom Beschwerdeführer verlangten Umfang des persönlichen Verkehrs anbelangt, ist er auf die von ihm selbst unterzeichnete und von der Vormundschaftsbehörde genehmigte Vereinbarung hinzuweisen, wonach ihm für den Konfliktfall ein Besuchsrecht an jedem zweiten Wochenende und ein Ferienrecht von vier Wochen zusteht. Zumal vor dem Hintergrund der völligen Kommunikationsunfähigkeit der Eltern ist nicht zu sehen, inwiefern sich eine über das vereinbarte und verbreiteter Praxis entsprechende Besuchs- und Ferienrecht hinausgehende Regelung aufdrängen soll. Das Verwaltungsgericht hatte sich nach den Ausführungen im angefochtenen Entscheid zwar überlegt, dem Beschwerdeführer als Schritt zur Verhinderung einer weiteren Eskalation vorläufig auch die von ihm gewünschte "Dienstagsbetreuung" zu gestatten; es hat davon jedoch Abstand genommen, nachdem der Beschwerdeführer die Tochter im Anschluss an das Osterwochenende 2010 eigenmächtig bei sich behielt und eine Rückgabe während Tagen verweigerte. Auch vor diesem Hintergrund hat das Verwaltungsgericht kein Bundesrecht verletzt, wenn es (jedenfalls bis zum Vorliegen des beim KJPD in Auftrag gegebenen Gutachtens) kein zusätzliches Besuchsrecht von Montag- bis Dienstagabend gewährt und das Ferienrecht nicht auf acht Wochen ausgedehnt, sondern die kantonale Beschwerde abgewiesen hat, soweit sie nicht ohnehin gegenstandslos war.
3.2 Der Beschwerdeführer betont wiederholt das gemeinsame Sorgerecht, aus welchem er gleiche Rechte und Pflichten mit Bezug auf die Betreuung und Erziehung des Kindes sowie ein umfassendes Informations- und Mitspracherecht ableitet.
Dabei übergeht der Beschwerdeführer, dass das Obhutsrecht der Mutter allein zusteht. Dieses umfasst einerseits die Befugnis, den Aufenthaltsort des Kindes und die Art und Weise seiner Unterbringung zu bestimmen (<ref-ruling> E. 4a), sowie andererseits die Verantwortung für dessen tägliche Betreuung, Pflege und Erziehung (zur Publikation bestimmtes Urteil 5D_171/2009 vom 1. Juni 2010 E. 3.2). Dem nicht obhutsberechtigten Inhaber der elterlichen "Restsorge" verbleibt neben dem Recht auf persönlichen Verkehr im Wesentlichen ein Mitentscheidungs- und diesbezüglich auch ein Informationsrecht mit Bezug auf die zentralen Fragen der Lebensplanung des Kindes; dabei ist zu denken, stets im Sinn von Grundsatzentscheidungen, an die Namensgebung (vgl. Art. 301 Abs. 4 ZGB), an die allgemeine und berufliche Ausbildung (vgl. Art. 302 ZGB), an die Wahl der religiösen Erziehung (vgl. Art. 303 ZGB), an medizinische Eingriffe und andere einschneidende bzw. das Leben des Kindes prägende Weichenstellungen (zur Publikation bestimmtes Urteil 5D_171/2009 vom 1. Juni 2010 E. 3.2).
In diesem Sinn hat die Vormundschaftsbehörde in ihrer Verfügung vom 26. Juni 2009, die Gegenstand des vorliegenden Beschwerdezuges ist, die Mutter verpflichtet, periodisch über folgende Ereignisse zu informieren (in der Verfügung mit weiteren Einzelheiten detailliert geregelt): Behandlung der Hautkrankheit (inkl. Kopien der ärztlichen Berichte); gesundheitliche Auffälligkeiten und Behandlungsmethoden; Schlafverhalten, soweit krankhafte Züge, und Behandlungsmethoden; prägende Erlebnisse; Umfang und Personen bei Fremdbetreuung; nennenswerte Entwicklungsschritte wie Schuleintritt, Berufsausbildung, Auszeichnungen, Erstkommunion, Firmung, etc.
Soweit der Beschwerdeführer in seiner Beschwerde das Gleiche verlangt, fehlt ihm, wie bereits festgehalten, eine Beschwer. Soweit er darüber hinausgehende Informations- und Mitbestimmungsrechte verlangt (was für Freunde das Kind habe; welche Besuche es erhalte; wie die Wochenstruktur im Einzelnen aussehe; Anschaffungen; einzelne mit der Krippe vereinbarte Punkte; etc.), ist die tägliche Betreuung, Pflege und Erziehung des Kindes betroffen, die in der alleinigen Verantwortung des Obhutsberechtigten liegt. Entsprechend stösst auch der Antrag ins Leere, bei Uneinigkeiten seien die Eltern zum Aufsuchen einer Fachstelle mit Stichentscheid zu verpflichten. Insoweit als das Verwaltungsgericht die kantonale Beschwerde mit Bezug auf all diese Punkte abgewiesen hat, ist keine Verletzung von Bundesrecht gegeben.
4. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist, soweit auf sie eingetreten werden kann. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der Gegenpartei ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit auf sie eingetreten werden kann.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und der Vormundschaftsbehörde A._ schriftlich mitgeteilt.
Lausanne, 13. August 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Escher Möckli