Sachverhalt: A. X._ und Y._ heirateten am 21. September 2005. Sie haben die gemeinsamen Kinder A._, geb. 2. Februar 2006, und B._, geb. 1. August 2008. B. Nach einem ersten Trennungsverfahren im Jahr 2009, welches zufolge Rückzuges abgeschrieben wurde, wandte sich die Ehefrau am 20. April 2010 erneut an das Kreisgericht See-Gaster. Mit Eheschutzentscheid vom 15. Dezember 2010 stellte die Familienrichterin das Getrenntleben seit 1. April 2010 fest; sie ordnete die finanziellen Verhältnisse und stellte die Kinder unter die Obhut der Mutter, unter Regelung des Besuchsrechts des Vaters wie folgt: jedes zweite Wochenende von Samstag, 09.00 Uhr, bis Sonntag, 18.00 Uhr; jeden Donnerstag, 13.00 Uhr bis 18.00 Uhr; Spezialregelungen für Ostern, Pfingsten und Weihnachten; zwei Wochen Ferien. Dagegen erhoben beide Seiten Rekurs. Mit Entscheid vom 31. Mai 2011 gewährte das Kantonsgericht St. Gallen, Einzelrichter in Familienrecht, zusätzlich ein Besuchsrecht an jedem Montag, 13.00 Uhr bis 18.00 Uhr, und an Neujahr; sodann wurde das Besuchsrecht an Weihnachten ausgedehnt und eine dritte Ferienwoche gewährt. Im Übrigen wurden die Rekurse abgewiesen. C. Gegen diesen Entscheid hat der Ehemann am 5. Juli 2011 eine Beschwerde in Zivilsachen eingereicht mit dem Hauptbegehren, das Besuchsrecht sei auf jedes Wochenende mit Ausnahme des ersten pro Monat auszudehnen, und dem Eventualbegehren, der angefochtene Entscheid sei aufzuheben und die Sache zur Abklärung der tatsächlichen Verhältnisse und neuen Entscheidung über die Obhutszuteilung an das Kantonsgericht zurückzuweisen. Es wurden keine Vernehmlassungen eingeholt.