Sachverhalt:
A. X._ und Y._ heirateten am 21. September 2005. Sie haben die gemeinsamen Kinder A._, geb. 2. Februar 2006, und B._, geb. 1. August 2008.
B. Nach einem ersten Trennungsverfahren im Jahr 2009, welches zufolge Rückzuges abgeschrieben wurde, wandte sich die Ehefrau am 20. April 2010 erneut an das Kreisgericht See-Gaster. Mit Eheschutzentscheid vom 15. Dezember 2010 stellte die Familienrichterin das Getrenntleben seit 1. April 2010 fest; sie ordnete die finanziellen Verhältnisse und stellte die Kinder unter die Obhut der Mutter, unter Regelung des Besuchsrechts des Vaters wie folgt: jedes zweite Wochenende von Samstag, 09.00 Uhr, bis Sonntag, 18.00 Uhr; jeden Donnerstag, 13.00 Uhr bis 18.00 Uhr; Spezialregelungen für Ostern, Pfingsten und Weihnachten; zwei Wochen Ferien.
Dagegen erhoben beide Seiten Rekurs. Mit Entscheid vom 31. Mai 2011 gewährte das Kantonsgericht St. Gallen, Einzelrichter in Familienrecht, zusätzlich ein Besuchsrecht an jedem Montag, 13.00 Uhr bis 18.00 Uhr, und an Neujahr; sodann wurde das Besuchsrecht an Weihnachten ausgedehnt und eine dritte Ferienwoche gewährt. Im Übrigen wurden die Rekurse abgewiesen.
C. Gegen diesen Entscheid hat der Ehemann am 5. Juli 2011 eine Beschwerde in Zivilsachen eingereicht mit dem Hauptbegehren, das Besuchsrecht sei auf jedes Wochenende mit Ausnahme des ersten pro Monat auszudehnen, und dem Eventualbegehren, der angefochtene Entscheid sei aufzuheben und die Sache zur Abklärung der tatsächlichen Verhältnisse und neuen Entscheidung über die Obhutszuteilung an das Kantonsgericht zurückzuweisen. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten ist der kantonal letztinstanzliche Endentscheid über die Ausgestaltung des Besuchsrechts, die eine nicht vermögensrechtliche Zivilsache darstellt. Auf die rechtzeitig eingereichte Beschwerde in Zivilsachen ist mithin einzutreten (Art. 72 Abs. 1, Art. 75 Abs. 2, Art. 90 und Art. 100 Abs. 1 BGG).
Weil Eheschutzentscheide vorsorgliche Massnahmen im Sinn von <ref-law> darstellen (<ref-ruling> E. 5.1 S. 397), kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden. Hierfür gilt das strenge Rügeprinzip (<ref-law>). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Rechtslage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
2. Das Kantonsgericht hat auf die erstinstanzlichen Erwägungen verwiesen, wonach die Erziehungsfähigkeit beider Elternteile gut sei, wobei mütterlicherseits gewisse Einschränkungen bei der Bindungstoleranz bestünden. Als selbständige Musikerin verfüge sie aber über mehr Zeit und bessere Betreuungsmöglichkeiten als der zu 50 % als Oberrichter tätige Vater. Es hat sodann darauf verwiesen, dass sich die Fronten zwischen den Parteien seit der Trennung verhärtet hätten und der Vater von über die Kinder ausgetragenen Machtspielen der Mutter berichte, deren Erziehungsfähigkeit aber nicht grundsätzlich in Frage stelle. Weiter hat das Kantonsgericht festgehalten, die Mutter sei als angestellte Organistin und Musiklehrerin sowie als selbständige Musikerin tätig. Mit Ausnahme der Auftritte und der Gottesdienste sei sie in der zeitlichen Ausgestaltung ihrer Tätigkeit relativ frei. Aufgrund seiner reduzierten Arbeitstätigkeit sei auch der Vater zeitlich flexibel, wobei doch eine gewisse Präsenz am Arbeitsplatz erforderlich sei. Unter dem Aspekt der Kontinuität der Verhältnisse spreche dies eher für eine Beibehaltung der hauptsächlichen Betreuung durch die Mutter und mangels einer tragfähigen Vereinbarung über eine geteilte Obhut auch für eine Obhutszuweisung an selbige. Während der Arbeitszeit könne sie bei der Betreuung auf die Mithilfe ihrer Mutter zählen, der gegenüber der Vater zwar nunmehr Vorbehalte anbringe, welche er aber noch in der Gesuchsantwort als taugliche Betreuungsperson erwähnt habe. Demgegenüber müsste der Vater die Betreuung während seiner Berufstätigkeit erst noch organisieren. Dazu komme, dass eine Obhutszuweisung an den Vater für die Kinder mit einem Ortswechsel verbunden wäre. Zusammenfassend ergebe sich, dass die Vorbehalte in Bezug auf die mütterliche Bindungstoleranz nicht derart gross seien, dass sich eine Obhutszuteilung an den Vater rechtfertigen würde.
Ausgehend von der Obhutszuteilung an die Mutter erwog das Kantonsgericht mit Bezug auf die Ausgestaltung des Besuchsrechts, dass dem Kindeswohl am besten gedient sei, wenn die Kinder einen Lebensmittelpunkt hätten, aber zum anderen Elternteil eine gute und enge Beziehung pflegen könnten. Der Vater habe bereits vor der Trennung sein Pensum reduziert und die Kinder mehr betreut, als dies bei einer klassischen Hausgattenehe der Fall sei. Wenn der Vater heute verlange, die Kinder grundsätzlich an jedem Wochenende (bis auf eines pro Monat) zu betreuen, so könnte zwar der an drei Wochenenden pro Monat erfolgende Einsatz der Mutter als Organistin für eine solche Ausdehnung sprechen; indes würde dies dazu führen, dass die Mutter die Kinder nur noch an einem einzigen Wochenende sähe. Zudem gehe es bei einer alternierenden Betreuung nur um ein Wochenende pro Monat, an welchem die Mutter ebenfalls als Organistin auftrete und während dieser Zeit für eine Drittbetreuung sorgen müsse. Mit Bezug auf die Wochenendregelung sei der erstinstanzliche Entscheid mithin zu schützen. Demgegenüber sei dem Antrag des Vaters auf einen weiteren Betreuungshalbtag stattzugeben; beide Eltern betonten, dass es ihnen um das Kindeswohl gehe, und deshalb dürfe von ihnen erwartet werden, dass sie fähig seien, einen zweiten Halbtag pro Woche als Chance zu sehen.
3. In seinem Hauptbegehren verlangt der Vater ein ausgedehnteres Besuchsrecht. Er macht eine Verletzung des Willkürverbotes geltend.
3.1 Nach <ref-law>, auf welchen <ref-law> verweist, haben Eltern, denen die elterliche Sorge oder Obhut nicht zusteht, und das unmündige Kind gegenseitig Anspruch auf angemessenen persönlichen Verkehr. Er dient dem Aufbau und der Pflege der inneren Verbundenheit zwischen Eltern und unmündigen Kindern und steht den Beteiligten um ihrer Persönlichkeit willen zu.
Die Vorstellungen darüber, was als angemessenes Besuchsrecht zu gelten habe, sind nicht einheitlich, wobei regionale Unterschiede festzustellen sind und eine Tendenz zur Ausdehnung des Besuchsrechts besteht; jedenfalls aber hat sich die richterliche Ausgestaltung des Besuchsrechts stets am Kindeswohl auszurichten, das sich anhand der Umstände des konkreten Einzelfalls beurteilt (<ref-ruling> E. 2.1 S. 587 f.). Damit verweist <ref-law> für die Regelung des persönlichen Verkehrs auf das dem Sachrichter zustehende weite Ermessen (<ref-law>; <ref-ruling> E. 3 S. 210). In Eheschutzstreitigkeiten kann das Bundesgericht dessen Ausübung freilich nur auf die Verletzung verfassungsmässiger Rechte, insbesondere auf die Verletzung des Willkürverbots (<ref-law>) hin überprüfen (s. E. 1).
3.2 Der Vater macht geltend, beide Parteien seien hinsichtlich Arbeitsbelastung und zeitlicher Flexibilität in einer ähnlichen Lage, wobei er unter der Woche und die Mutter primär am Abend und am Wochenende arbeite. Diese Arbeitsverteilung sei beim Besuchsrecht zu berücksichtigen; bei der kantonsgerichtlichen Lösung sei indes die Betreuung wie bei einer klassischen Hausgattenehe verteilt worden, was willkürlich sei, zumal die Mutter im Zusammenhang mit ihrer Verpflichtung als Kirchenorganistin am Wochenende auf Fremdbetreuung angewiesen sei. Eigenbetreuung gehe aber einer Fremdbetreuung vor, weshalb das Ergebnis stossend sei. Im Übrigen bleibe das Kindeswohl insofern unbeachtet, als die Mutter in der Rekursantwort bestätigt habe, dass sie die Kinder während ihrer Einsätze als Organistin im gleichzeitig stattfindenden Kindergottesdienst versorge, was namentlich für den dreijährigen Sohn fraglos keine geeignete Betreuung sei. Vor diesem Hintergrund erweise sich die Erwartung des Kantonsgerichts, die Mutter werde für eine geeignete Fremdbetreuung sorgen, als willkürlich. Weil die beantragte Ausdehnung des Besuchsrechts einzig das Wochenende betreffe, sei nicht massgeblich, wo sich die Kinder unter der Woche befänden. Ohnehin sei diesbezüglich festzuhalten, dass er die Kinder nur an zwei von insgesamt zehn Halbtagen sehe. Auch mit Bezug auf die Übernachtungen ergebe sich ein Ungleichgewicht, würden doch die Kinder bei der kantonalen Lösung lediglich zweimal pro Monat bei ihm übernachten, was der Tatsache nicht Rechnung trage, dass vor der Trennung meistens er die Kinder zu Bett gebracht habe.
3.3 Mit einer solchen Begründung ist keine willkürliche Rechtsanwendung durch das Kantonsgericht dargetan. Zu prüfen ist nicht, ob eine Lösung, wie sie der Vater anstrebt, im Rahmen des weiten Ermessens des Sachrichters ebenfalls Platz gehabt hätte, sondern ob die vorliegend getroffene Regelung vor dem Willkürverbot standhält. Dies ist der Fall, zumal sich das Kantonsgericht bei seinem Entscheid von sachlichen Gründen hat leiten lassen: Offensichtlich wollte es einer quasi-Monopolisierung der Wochenenden durch den Vater entgegenwirken, indem es festhielt, ansonsten könnte die obhutsberechtigte Mutter die Kinder an nur gerade einem Wochenende pro Monat sehen. Ist diese hingegen an zwei Wochenenden pro Monat für die Betreuung verantwortlich und wirkt sie an drei Wochenenden pro Monat als Kirchenorganistin, so bedeutet dies, dass sie die Kinder an einem Wochenende während des - erfahrungsgemäss rund eine Stunde dauernden - Gottesdienstes abgeben muss. Offenbar sorgt während dieser Zeit nicht die Grossmutter für die Kinder, sondern besuchen diese einen parallel laufenden Kindergottesdienst. Inwiefern dies für die Kinder schädlich sein soll, ist unerfindlich. Im Übrigen hat das Kantonsgericht berücksichtigt, dass keine klassische Hausgattenehe vorliegt, indem es dem Vater ein weit über die übliche Regelung bei kleineren Kindern hinausgehendes Besuchsrecht gewährt hat. Insbesondere die beiden Besuchsrechtsnachmittage ermöglichen einen regelmässigen Kontakt sowie die Teilnahme am heutigen Spielalltag bzw. am späteren Schulalltag der Kinder, was ein vielschichtiges und enges Vater-Kinder-Verhältnis versprechen lässt. Die getroffene Regelung versucht den allseitigen Anliegen gerecht zu werden und stellt eine typische Ermessensausübung dar. Inwiefern sie in Willkür begründender Weise dem Kindeswohl widersprechen könnte, ist nicht im Ansatz dargetan. Eine willkürliche Rechtsanwendung kann sich insbesondere auch nicht daraus ergeben, dass das Kantonsgericht trotz ähnlicher Arbeitsbelastung der Elternteile keine nahezu hälftige Betreuung vorgesehen hat, bei welcher sich die Konturen eines klaren Lebensmittelpunktes der Kinder letztlich verwischen würden: Eine dahingehende Regelung würde eine geteilte Obhut bzw. das Einvernehmen der Parteien voraussetzen und kann deshalb im vorliegenden Fall von vornherein nicht zur Debatte stehen. Ebenso wenig kann sich Willkür allein deshalb ergeben, weil der Vater vor der Trennung viel Betreuungsarbeit geleistet hat: Mit der Trennung und richterlichen Obhutszuteilung infolge streitiger Verhältnisse geht automatisch einher, dass es einen hauptbetreuenden und einen (lediglich) besuchsberechtigten Elternteil gibt.
4. Mit einem Eventualbegehren verlangt der Vater die Rückweisung an das Kantonsgericht zur Abklärung der tatsächlichen Verhältnisse und neuen Entscheidung über die Obhut. Diesbezüglich rügt er in mannigfacher Hinsicht Willkür und Gehörsverletzungen.
4.1 Zur Begründung führt er an, der Mutter fehle es an Bindungtoleranz und sie instrumentalisiere die Kinder. Es mache den Anschein, als ob vom Gericht lediglich die abschliessende Zusammenfassung in der Duplik/Wiederklagereplik gelesen worden sei und nicht die übrigen Teile der Rechtsschrift, wo er auf die eingeschränkte Bindungstoleranz der Mutter hingewiesen habe. Das Kindeswohl wäre von Amtes wegen abzuklären gewesen und das Kantonsgericht hätte die vorgebrachten Einwände nicht mit dem Hinweis beiseite schieben dürfen, ursprünglich habe auch der Vater das Kindeswohl bei einer Betreuung durch die Mutter nicht als gefährdet betrachtet; diese ursprüngliche Ansicht sei irrelevant, weil durch die Ereignisse überholt. Mit Bezug auf die Berufsausübung sei die Mutter in ihrer Arbeitseinteilung keineswegs frei, wenn sie Auftritte habe, und soweit sie Jugendlichen Musikunterricht erteile, finde dies gerichtsnotorisch am Nachmittag statt; auch diesbezüglich habe das Kantonsgericht keine detaillierten Abklärungen getroffen. Sodann habe er selbst an seinem Wohnort Krippenplätze für die Kinder organisiert. Vor dem Hintergrund des Gesagten und angesichts der in jeder Hinsicht fehlenden Abklärungen des Kantonsgerichts sei nicht nachvollziehbar, weshalb die Obhut der Mutter zugeteilt worden sei.
4.2 Was die verschiedenen Gehörsrügen anbelangt, so ist unter dem Aspekt der Mitwirkungsrechte (dazu <ref-ruling> E. 5.1 S. 293; <ref-ruling> E. 3.2 S. 272) nicht dargetan, welche Beweise konkret angeboten bzw. welche Beweismassnahmen vom Kantonsgericht konkret verlangt, aber nicht abgenommen bzw. nicht angeordnet oder inwiefern Einsichts- oder Äusserungsrechte nicht beachtet worden wären. Auch unter dem Aspekt der Pflicht zur Entscheidbegründung als weiterem Teilgehalt des rechtlichen Gehörs ist nicht ersichtlich, inwiefern dieses verletzt sein könnte: Das Kantonsgericht hat sich mit den wesentlichen Vorbringen des Beschwerdeführers auseinandergesetzt und nennt mit in jeder Hinsicht verständlichen Ausführungen die zentralen Überlegungen, von denen es sich hat leiten lassen, womit allen sich aus <ref-law> ergebenden Anforderungen nachgelebt wurde (vgl. <ref-ruling> E. 3.3 S. 445; <ref-ruling> E. 4.1 S. 88).
4.3 Was sodann die Willkürrügen anbelangt, so reicht es nach dem in E. 1 Gesagten nicht aus, die Lage aus eigener Sicht zu schildern und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen. Die Ausführungen in der Beschwerde stellen indes appellatorische Kritik dar und sind damit nicht geeignet, eine willkürliche Sachverhaltsfeststellung aufzuzeigen (<ref-ruling> E. 1b S. 495; <ref-ruling> E. 1.3 S. 262). Insbesondere hat das Kantonsgericht weder die eingeschränkte Bindungstoleranz der Mutter übersehen noch die Tatsache, dass auch sie feste Verpflichtungen hat, bei denen sie teilweise auf eine Fremdbetreuung angewiesen ist. Ebenso wenig ist Willkür gegeben mit Bezug auf die Feststellung des Kantonsgerichts, eine eigentliche Gefährdung der Kinder bei der Mutter sei weder ersichtlich noch behauptet. Dass offensichtlich keine ernsthafte Gefährdung vorliegen kann, zeigt sich auch im Umstand, dass der Beschwerdeführer die Obhutszuteilung bloss in einem Eventualbegehren verlangt, obwohl von der Rechts- und Sachlogik her die Obhutszuteilung in das Haupt- und die davon abhängige Besuchsrechtsregelung in das Eventualbegehren gehören würde.
Zur Substanziierung von Willkürrügen gehört im Übrigen, dass auch aufgezeigt wird, inwiefern die angeblich falschen Sachverhaltsfeststellungen für den Ausgang des Verfahrens entscheidend wären (<ref-ruling> E. 2.2.2 S. 22). Daran fehlt es bei der vorliegenden Beschwerde ebenfalls: Das Kantonsgericht hat sich bei der Zuteilung der Obhut auf sachliche Gründe gestützt, indem es erwogen hat, die Mutter sei mit ihrer Tätigkeit in zeitlicher Hinsicht insgesamt freier und insbesondere könne sie für die Drittbetreuung auf die Grossmutter zurückgreifen, was sich auch eingespielt habe, während der Vater die Fremdbetreuung erst noch organisieren müsste (was er selbst bestätigt, indem er in der Beschwerde festhält, dass Krippenplätze neu zu beantragen wären); ferner hat es darauf hingewiesen, dass die Obhutszuteilung an die Mutter dem bisher Gelebten entspreche und eine Zuteilung an den Vater für die Kinder mit einem Ortswechsel verbunden wäre. Der Beschwerdeführer bringt aber nichts vor, was zwingend zu einer Zuteilung der Obhut an ihn führen müsste und entsprechend mangelt es seinen Sachverhaltsbehauptungen (nebst der fehlenden Substanziierung) am Erfordernis, für den Verfahrensausgang entscheidend zu sein.
5. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist, soweit auf sie eingetreten werden kann. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Der Gegenseite ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit auf sie eingetreten werden kann.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter im Familienrecht, schriftlich mitgeteilt.
Lausanne, 13. September 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli