Faits:
A. Les époux A._, se sont mariés le 18 août 1998. De cette union sont issus deux enfants: B._, née en 1999, et C._, né en 2002.
Par acte du 12 octobre 2010, le mari a requis des mesures protectrices de l'union conjugale, concluant à l'attribution de la garde des enfants, à ce que la mère bénéficie d'un libre droit de visite, à ce que la jouissance de la villa conjugale lui soit attribuée, les charges étant assumées par lui, et à ce que l'épouse contribue à l'entretien des siens par le versement d'une pension de 1'500 fr. par mois dès le 1er octobre 2010.
Le 21 octobre 2010, l'épouse a ouvert action en divorce devant le Tribunal civil d'arrondissement de Lausanne. Elle a alors pris des conclusions provisionnelles tendant à ce que la garde des enfants lui soit accordée, sous réserve d'un libre droit de visite du père, à l'attribution de la jouissance de la villa conjugale, les charges étant assumées par elle, et à ce que le mari contribue à l'entretien des siens par le versement d'une pension de 1'500 fr. par mois dès le 1er octobre 2010.
A l'audience du Président du Tribunal du 1er novembre 2010, la requête de mesures protectrices de l'union conjugale déposée par le mari a été convertie en requête de mesures provisionnelles dans le cadre du procès en divorce. Trois témoins ont alors été entendus.
B. Par ordonnance de mesures provisionnelles du 18 février 2011, le Président du Tribunal a, notamment, confié la garde des enfants à la mère, fixé le droit de visite du père, attribué la jouissance du domicile conjugal à l'épouse, celle-ci devant en assumer les charges, astreint le mari à verser une contribution à l'entretien de ses enfants d'un montant total de 1'500 fr. par mois, allocations familiales en plus, dès et y compris son départ du domicile conjugal, enfin, déclaré l'ordonnance immédiatement exécutoire nonobstant appel. Ledit juge a notamment considéré que la mère était capable de s'occuper de ses enfants malgré sa maladie (diabète de type I) et que, compte tenu de l'âge de ceux-ci, elle devait se voir attribuer leur garde.
Par arrêt du 4 avril 2011, notifié en expédition complète le 12 mai 2011, le Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel du mari.
C. Par acte du 14 juin 2011, A._ exerce un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut à l'annulation de l'acte attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il se plaint d'arbitraire (art. 9 Cst.) et de violations du droit d'être entendu (art. 29 al. 2 Cst.).
L'intimée propose le rejet du recours.
L'autorité cantonale se réfère aux considérants de son arrêt.
Considérant en droit:
1. 1.1 Interjeté contre une décision finale (art. 90 LTF; ATF 134 III 426 consid. 2.2 et la jurisprudence citée) rendue en matière civile (art. 72 al. 1 LTF) par une autorité cantonale supérieure statuant sur recours (art. 75 LTF), le présent recours est recevable au regard de ces dispositions. Comme le litige porte sur l'attribution de la garde des enfants, il est de nature non pécuniaire; il en va de même, par attraction, s'agissant de la contribution à leur entretien (arrêt 5A_697/2009 du 4 mars 2010 consid. 1.1 et les références citées). Le recours en matière civile est donc ouvert sans restriction tenant à la valeur litigieuse (art. 74 al. 1 LTF a contrario). Il a par ailleurs été déposé en temps utile (art. 100 al. 1 LTF) par une partie qui a qualité pour recourir (art. 76 al. 1 LTF).
1.2 Le recours en matière civile des art. 72 ss LTF étant une voie de réforme (art. 107 al. 2 LTF), le recourant ne peut se borner à demander l'annulation de la décision attaquée et le renvoi de la cause à l'instance cantonale; il doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Il n'est fait exception à ce principe que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond, faute d'un état de fait suffisant, mais devrait renvoyer la cause à l'autorité cantonale pour complément d'instruction (ATF 134 III 379 consid. 1.3; 133 III 489 consid. 3.1 et les références citées).
En l'occurrence, cette exception est réalisée dans la mesure où le recourant, invoquant en particulier son droit d'être entendu (art. 29 al. 2 Cst.), reproche au juge précédent de n'avoir pas instruit la cause sur le fond, ignorant notamment sa requête d'expertise. Il en va de même en tant qu'il se plaint de l'absence d'audition des enfants. En effet, l'admission de l'un ou l'autre de ces griefs impliquerait nécessairement l'annulation de l'arrêt attaqué et le renvoi de la cause à l'autorité cantonale. En tant qu'il soutient que l'autorité cantonale a versé dans l'arbitraire en attribuant les enfants à l'intimée, la question peut rester indécise, vu le sort du présent recours (cf. infra, consid. 5).
1.3 La décision attaquée porte sur des mesures provisionnelles au sens de l'art. 98 LTF (ATF 133 III 393 consid. 5, 585 consid. 3.3), en sorte que le recourant ne peut se plaindre que de la violation de ses droits constitutionnels. Le Tribunal fédéral n'examine un tel grief que s'il a été dûment invoqué et motivé (art. 106 al. 2 LTF), à savoir exposé de manière claire et détaillée (ATF 134 I 83 consid. 3.2 et les arrêts cités). Lorsque le recourant se plaint d'arbitraire (art. 9 Cst.), il ne peut se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours dispose d'une libre cognition; il ne saurait se contenter d'opposer son opinion à celle de la juridiction précédente, mais doit démontrer, par une argumentation précise, que cette décision se fonde sur une application du droit manifestement insoutenable (ATF 134 II 349 consid. 3 et les arrêts cités). Les critiques de nature appellatoire sont irrecevables (ATF 133 III 589 consid. 2).
1.4 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Dans l'hypothèse d'un recours soumis à l'art. 98 LTF, le recourant ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels par l'autorité précédente (ATF 133 III 393 consid. 7.1 et 585 consid. 4.1).
2. Le recourant reproche au juge précédent d'avoir considéré de manière insoutenable que son appel était manifestement infondé et, partant, d'avoir arbitrairement appliqué le droit fédéral en statuant «par la voie» de l'art. 312 al. 1 CPC. Partant, son droit d'être entendu aurait également été violé, ce magistrat n'ayant dès lors procédé à aucune mesure d'instruction sur les faits pertinents, ni même entendu les parties sur les points importants, ou encore, motivé sa décision sur l'application de la disposition précitée.
Ce grief sera examiné ci-après, en tenant compte des précisions apportées à cet égard par le recourant dans la suite de son recours.
3. Selon le recourant, le juge d'appel aurait violé son droit d'être entendu et procédé à une appréciation arbitraire des faits en ne tenant pas compte, sans motifs, de sa requête d'expertise concernant le sort des enfants, les capacités éducatives des parents et les modalités du droit de visite.
3.1 Lorsque le recours en matière civile est ouvert, la violation du droit à l'administration de moyens de preuve doit en principe être dénoncée à l'appui d'un grief fondé sur l'art. 8 CC, et non sur le droit d'être entendu garanti par l'art. 29 al. 2 Cst.; une exception s'impose cependant lorsque, comme ici, seule peut être soulevée la violation de droits constitutionnels, de sorte que le grief tiré de l'art. 8 CC, contrairement à celui fondé sur l'art. 29 al. 2 Cst., ne peut être examiné librement (arrêt 5A_561/2009 du 1er décembre 2009 consid. 2.1).
En vertu du droit d'être entendu (art. 29 al. 2 Cst.), l'autorité doit prendre en considération les moyens de preuve régulièrement offerts par le justiciable, pour autant toutefois qu'ils portent sur des faits pertinents et n'apparaissent pas inaptes à élucider les faits litigieux (ATF 124 I 241 consid. 2; 122 II 464 consid. 4a). Cette garantie constitutionnelle n'empêche pas le juge de procéder à une appréciation anticipée des preuves (ATF 131 I 153 consid. 3; 130 III 734 consid. 2.2.3). Abstraction faite d'exceptions qui ne sont pas réalisées dans le cas présent, l'expertise n'est qu'une mesure probatoire parmi d'autres. Le juge doit l'ordonner lorsqu'elle apparaît comme le seul moyen de preuve idoine, en particulier lorsqu'il ne bénéficie pas de connaissances personnelles suffisantes pour se prononcer sur le bien de l'enfant, par exemple lorsque celui-ci souffre d'une maladie ou présente un comportement pathologique, ou encore lorsqu'il ne dispose d'aucun élément de preuve sur des faits pertinents pour la décision; il jouit à cet égard d'un large pouvoir d'appréciation (arrêts 5A_22/2011 du 6 février 2011 consid. 4.1; 5A_798/2009 du 4 mars 2010 consid. 3.1 et les références).
3.2 Selon le juge d'appel, il ressort de l'avis du médecin traitant de l'épouse que le diabète de celle-ci ne l'empêche pas de garder des enfants en bas âge. S'il est vrai qu'à certaines occasions, ainsi récemment à la piscine, une hypoglycémie de l'intéressée a perturbé la prise en charge des enfants, il n'y a pas lieu d'en déduire que celle-ci serait incapable de s'en occuper, d'autant qu'ils ne sont plus à proprement parler en bas âge. En mettant en évidence certaines défaillances de l'épouse, le mari perd de vue qu'il lui a laissé le soin de s'occuper seule des enfants durant plusieurs années. Or, rien ne permet d'admettre que ce qui était adéquat en 2010, avant l'engagement de la procédure, ne le serait plus aujourd'hui.
Il appert ainsi que l'autorité cantonale a forgé son opinion quant aux aptitudes éducatives de l'intimée sur la base d'une appréciation des preuves, dont le recourant ne démontre pas qu'elle serait insoutenable. En effet, il n'établit nullement que ce magistrat aurait fait preuve d'arbitraire en considérant implicitement, sur la base des éléments du dossier et, en particulier, de l'avis du médecin traitant (spécialiste en endocrinologie-diabétologie) de l'intimée, que celle-ci était capable de prendre soin des enfants sans qu'il y ait lieu d'ordonner une expertise à ce sujet, ce d'autant que les mesures provisionnelles de divorce sont ordonnées à la suite d'une procédure sommaire avec administration restreinte des moyens de preuve et limitation du degré de la preuve à la simple vraisemblance (arrêt 5A_476/201 du 7 septembre 2010 consid. 1.3 et les arrêts cités; cf. aussi pour les mesures protectrices de l'union conjugale: ATF 127 III 474 consid. 2b/bb et les références). On ne voit pas non plus en quoi une expertise aurait été nécessaire pour statuer sur les modalités du droit de visite, que le recourant ne critique du reste pas.
4. Le recourant reproche aussi au juge d'appel d'avoir violé son droit d'être entendu en refusant de tenir compte, sur la base d'une application arbitraire de l'art. 317 al. 1 CPC à un appel concernant une cause où le sort de mineurs est en jeu, des faits nouveaux que constituent les difficultés scolaires des enfants et le malaise de l'intimée à la piscine en février 2011; au surplus, les conditions restrictives prévues par ledit article seraient de toute manière réalisées en l'espèce.
Il fait de surcroît grief à l'autorité cantonale d'avoir estimé, en se référant à cette même disposition, qu'il n'était pas nécessaire de procéder à des investigations concernant les plaintes formées par l'intimée pour des déprédations commises dans la maison conjugale, faits qu'il avait déjà allégués en première instance mais qui n'avaient alors pas été pris en considération. Il soutient par ailleurs que l'absence de désignation des témoins qu'il souhaitait faire entendre sur ces points ne saurait constituer un motif pour considérer l'appel comme manifestement infondé.
4.1 Aux termes de l'art. 317 al. 1 CPC, les faits et moyens de preuve nouveaux ne sont pris en compte qu'aux conditions suivantes: ils sont invoqués ou produits sans retard (let. a); ils ne pouvaient être invoqués ou produits devant la première instance bien que la partie qui s'en prévaut ait fait preuve de la diligence requise (let. b). La doctrine est divisée sur le point de savoir si les conditions restrictives de cette disposition valent aussi bien pour les procès régis par la maxime inquisitoire que pour ceux soumis à la maxime des débats (cf. notamment: pour, en se basant sur les débats aux Chambres fédérales: FABIENNE HOHL, Procédure civile, Tome II, n. 2410 et 2415; ISAAC MEIER, Schweizerisches Zivilprozessrecht, Eine kritische Darstellung aus der Sicht von Praxis und Lehre, Zurich 2010, p. 490; contre: HOFFMANN/LÜSCHER, Le Code de procédure civile, Berne 2009, p. 197; SPÜHLER, Commentaire bâlois, n. 7 ad art. 317 CPC; REETZ/HILBER, in Kommentar zur Schweizerischen Zivilprozessordnung (ZPO), Hrsg.: Sutter-Somm/Hasenböhler/Leuenberger, Zurich 2010, n. 14 et 16 ad art. 317).
4.2 S'étant référée à la doctrine et au Message du Conseil fédéral, l'autorité cantonale est parvenue à la conclusion que l'art. 317 al. 1 CC, finalement adopté par les Chambres fédérales, ne contenait pas de règle élargissant la possibilité d'invoquer des faits ou moyens de preuve nouveaux dans les cas soumis à la maxime inquisitoire, contrairement à la règle résultant, en première instance, de l'art. 229 al. 3 CPC. Pour le juge précédent, on ne pouvait y voir une lacune de loi et l'on devait bien plutôt admettre qu'il s'agissait d'un silence qualifié impliquant qu'en appel, les novas sont soumis à la règle ordinaire.
La doctrine étant divisée sur cette question, qui n'a encore donné lieu à aucune jurisprudence du Tribunal fédéral et dont il n'est pas démontré qu'elle serait tranchée de manière uniforme par les tribunaux cantonaux, l'opinion du Juge délégué de la Cour d'appel civile ne saurait être qualifiée d'arbitraire (cf. ATF 134 I 140 consid. 5.4; 133 I 149 consid. 3.1). Quoi qu'il en soit, le magistrat précédent a, en fin de compte, considéré que le mari sollicitait l'audition de témoins sans toutefois indiquer lesquels, ni s'ils seraient distincts de ceux qui avaient été entendus en première instance. Il a aussi relevé que l'intéressé n'exposait pas non plus à quel sujet ces témoins pourraient s'exprimer, se bornant à évoquer «l'importance des faits nouveaux allégués» au chapitre II de l'appel. Pour le juge cantonal, ces éléments, à savoir l'historique de la maladie de l'épouse, les événements y relatifs à partir de 2001 et les courriers récents du médecin traitant de celle-ci avaient déjà fait l'objet d'une instruction en première instance. Quant aux plaintes déposées par l'épouse pour des déprédations commises dans la maison conjugale, il ne paraissait de toute manière pas nécessaire de procéder d'office à des investigations à ce sujet. Il en allait de même s'agissant de l'épisode d'un porte-monnaie perdu et de l'attention réduite de la mère pour les devoirs des enfants. Ainsi, selon l'autorité précédente, le mari, non seulement ne démontrait pas que les conditions de l'art. 317 al. 1 CPC étaient réunies pour administrer des preuves nouvelles, mais encore n'établissait pas que ces moyens s'imposeraient dans le cadre de l'instruction d'office concernant la situation des enfants.
Le recourant se limite à présenter sa propre appréciation de la cause ainsi que son interprétation personnelle des principes et des normes prétendument violées, sans démontrer en quoi les motifs retenus par le juge d'appel, et la conclusion à laquelle celui-ci est parvenu concernant l'administration desdites preuves, seraient arbitraires. Autant qu'il est suffisamment motivé (art. 106 al. 2 LTF), le grief apparaît ainsi infondé.
5. Le recourant se plaint aussi du fait que les enfants n'ont encore jamais été entendus dans la procédure.
5.1 Depuis l'entrée en vigueur, le 1er janvier 2011, du Code de procédure civile, les dispositions relatives à la procédure qui se trouvaient dans le Code civil (art. 135 à 149 aCC) ont été abrogées. L'art. 144 al. 2 aCC, sur l'audition de l'enfant, a été repris par l'art. 298 al. 1 CC. Le principe posé à l'art. 144 al. 2 aCC reste inchangé: les enfants sont entendus personnellement et de manière appropriée par le juge ou par un tiers nommé à cet effet, pour autant que leur âge ou de justes motifs ne s'y opposent pas (art. 298 al. 1 CPC).
L'audition de l'enfant constitue à la fois un droit de participation de celui-ci à la procédure qui le concerne et un moyen pour le juge d'établir les faits (arrêt 5A_50/2010 du 6 juillet 2010 consid. 2.1; ATF 133 III 553 consid. 2 non publié). Dans le cadre des procédures relatives aux enfants, la maxime inquisitoire - et la maxime d'office - trouvent application, conformément à l'art. 296 CPC. Le juge est dès lors tenu d'entendre l'enfant, non seulement, lorsque celui-ci ou ses parents le requièrent, mais aussi dans tous les cas où aucun juste motif ne s'y oppose (arrêt 5A_43/2008 du 15 mai 2008 consid. 3.1; SUTTER/FEIBURGHAUS, Kommentar zum neuen Scheidungsrecht, 1999, n. 46 ad art. 144 CC; ALEXANDRA RUMO-JUNGO, L'audition des enfants lors du divorce de leurs parents, in SJ 2003 II p. 115 ss, p. 118; cf. aussi PHILIPPE MEIER, La position des personnes concernées dans les procédures de protection des mineurs et des adultes - Quelques enseignements de la jurisprudence fédérale récente, in RDT 63/2008 p. 399 ss, p. 404). Même si les faits pertinents sont parfaitement établis, l'audition reste un droit personnel de l'enfant sur l'exercice duquel il doit pouvoir s'exprimer; le juge a donc l'obligation d'informer celui-ci de son droit s'il tient à respecter son propre devoir d'audition (RUMO-JUNGO, op cit., p. 119).
5.2 En l'espèce, il n'apparaît pas que les enfants aient été entendus dans la présente procédure, que ce soit par le juge lui-même ou un tiers spécialiste de l'enfance nommé à cet effet, par exemple un pédopsychiatre ou un collaborateur d'un service de protection de la jeunesse (ATF 133 III 553 consid. 4; 127 III 295 consid. 2a-2b). Certes, dans son appel, le recourant n'a pas expressément contesté l'absence d'audition des enfants. Il a toutefois conclu à ce qu'une expertise pédopsychiatrique fût ordonnée, ce qui impliquait qu'ils fussent entendus par un spécialiste de l'enfance. Dans tous les cas, l'art. 298 al. 1 CPC aurait commandé d'entendre les enfants ou, tout au moins, de se poser la question d'une telle audition, puisque celle-ci est possible à partir de six ans révolus (ATF 131 III 553 consid. 1.2.3; 133 III 553 consid. 3) et que les enfants étaient alors âgés de 8 et 11 ans. Le juge précédent a donc arbitrairement appliqué le droit fédéral sur ce point.
6. Vu ce qui précède, le recours se révèle à cet égard fondé et doit par conséquent être admis, sans qu'il y ait lieu d'examiner les critiques du recourant relatives aux critères pris en compte pour l'attribution des enfants. L'arrêt attaqué sera ainsi annulé et la cause renvoyée au juge d'appel pour qu'il prenne en considération la question de l'audition des enfants, conformément au considérant qui précède, avant de rendre sa décision au fond.
Les frais judiciaires seront dès lors supportés par l'intimée, qui versera en outre des dépens au recourant (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour instruction complémentaire et nouvelle décision dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimée.
3. Une indemnité de 2'000 fr., à verser au recourant à titre de dépens, est mise à la charge de l'intimée.
4. Le présent arrêt est communiqué aux parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 décembre 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Mairot