Faits:
A. Le 27 octobre 1989, A._, né en 1934, a épousé en secondes noces B._, née en 1935. Aucun enfant n'est issu de cette union.
Le 28 janvier 2011, la Juge du district de Sion (ci-après: la juge de district) a, sur requête de l'épouse, autorisé les conjoints à se constituer un domicile séparé.
B. Par décision de mesures protectrices de l'union conjugale du 28 juin 2011, la juge de district a, entre autres points, condamné le mari à verser à l'épouse une contribution d'entretien d'un montant de 2'350 fr. par mois.
Le Juge de la Cour civile II du Tribunal cantonal du canton du Valais a, par jugement du 19 décembre 2011, rejeté l'appel du mari tendant notamment à la suppression de dite contribution.
C. Par acte du 19 janvier 2012, le mari exerce un recours en matière civile au Tribunal fédéral. Il conclut à la réforme du jugement du 19 décembre 2011 en ce sens qu'il est libéré de toute obligation d'entretien envers l'épouse à compter du 1er février 2011. Subsidiairement, il demande l'annulation du jugement entrepris et le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. L'intimée n'a pas été invitée à répondre.
Considérant en droit:
1. 1.1 Le recours est dirigé contre une décision finale (art. 90 LTF; ATF 133 III 393 consid. 4) rendue en matière civile (art. 72 al. 1 LTF) par l'autorité de dernière instance cantonale statuant sur recours (art. 75 al. 1 LTF), dans une cause de nature pécuniaire dont la valeur litigieuse est supérieure à 30'000 fr. (art. 51 al. 1 let. a et al. 4, art. 74 al. 1 let. b LTF). Le recours en matière civile est donc en principe recevable. Le présent recours a en outre été interjeté en temps utile (art. 46 al. 1 let. c, art. 100 al. 1 LTF), par une partie qui a succombé dans ses conclusions prises devant l'autorité précédente (art. 76 al. 1 LTF).
1.2 Dès lors que les mesures protectrices de l'union conjugale sont considérées comme des mesures provisionnelles au sens de l'art. 98 LTF (ATF 133 III 393 consid. 5 p. 396), seule peut être invoquée à leur encontre la violation de droits constitutionnels. Le Tribunal fédéral n'examine un tel grief que s'il a été dûment invoqué et motivé (principe d'allégation; art. 106 al. 2 LTF), à savoir exposé de manière claire et détaillée (ATF 134 I 83 consid. 3.2 et les arrêts cités). Lorsque le recourant se plaint d'arbitraire (art. 9 Cst.), il ne peut se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours dispose d'une libre cognition; il ne saurait se contenter d'opposer son opinion à celle de la juridiction précédente, mais doit démontrer, par une argumentation précise, que cette décision se fonde sur une application du droit manifestement insoutenable (ATF 134 II 349 et les arrêts cités). Les critiques de nature appellatoire sont irrecevables (ATF 133 III 589 consid. 2). Par ailleurs, en vertu des principes de la bonne foi et de l'épuisement des griefs (art. 75 al. 1 LTF), tous les moyens nouveaux sont exclus dans le recours en matière civile au sens de l'art. 98 LTF, que ceux-ci relèvent du fait ou du droit, sauf dans les cas où seule la motivation de la décision attaquée donne l'occasion de les soulever (ATF 133 III 639 consid. 2; arrêt 5A_679/2011 du 10 avril 2012 et la jurisprudence citée).
2. Le recourant reproche à l'autorité cantonale d'avoir violé son droit à la preuve, garanti par l'art. 29 al. 2 Cst., en renonçant à exiger de l'intimée qu'elle atteste des salaires qu'elle a perçus entre 1985 et 2005 ainsi que de leur affectation, ce qui aurait permis de déterminer sa réelle situation financière. Il se plaint en outre sur ce point d'une violation arbitraire de l'art. 164 CPC.
2.1 Le droit d'être entendu (art. 29 al. 2 Cst.) comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 129 II 497 consid. 2.2; 127 I 54 consid. 2b; 124 I 48 consid. 3a et les arrêts cités). Une mesure probatoire peut être refusée à la suite d'une appréciation anticipée des preuves, c'est-à-dire lorsque l'autorité parvient à la conclusion que l'administration de la preuve sollicitée ne pourrait plus l'amener à modifier sa conviction (ATF 131 I 53 consid. 3; 129 III 18 consid. 2.6). Savoir si l'autorité cantonale n'a pas pris en compte un moyen de preuve propre à modifier la décision relève de l'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.). De jurisprudence constante, le Tribunal fédéral se montre réservé en la matière, vu le large pouvoir qu'il reconnaît dans ce domaine aux autorités cantonales (ATF 120 Ia 31 consid. 4b; 104 Ia 381 consid. 9 et les arrêts cités). II n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables; encore faut-il que la décision en soit viciée dans son résultat (ATF 129 I 8 consid. 2.1
2.2 ; cf. aussi ATF 134 V 53 consid. 4.3; 133 II 249 consid. 1.4.3). Cette retenue est d'autant plus grande lorsque, comme en l'espèce, le juge n'examine la cause que d'une manière sommaire et provisoire (ATF 130 III 321 consid. 3.3).
2.3 Selon l'autorité cantonale, l'épouse n'a certes pas donné suite à l'ordonnance du 6 septembre 2011 concernant la détermination des salaires perçus de 1985 à 2005. Compte tenu des allégations des parties selon lesquelles, jusqu'en 2002, ceux-ci s'élevaient de 4'000 fr. à 5'500 fr. par mois, cette autorité a cependant estimé qu'il n'y avait pas lieu de compléter l'instruction sur ce point. Quant à l'affectation de ces montants, elle a considéré, sur la base des pièces déjà produites, qu'on ne pouvait suivre le mari lorsqu'il prétendait que l'épouse était parvenue à économiser une somme d'un million de francs grâce aux salaires qu'il lui avait versés durant vingt ans et qui n'avaient d'autre but que celui de lui servir d'argent de poche. En effet, cette allégation était en contradiction flagrante avec les documents figurant au dossier, qui permettaient de retenir avec une vraisemblance confinant à la certitude qu'une partie des revenus de l'épouse avait servi au paiement des dettes du mari et, en particulier, de la contribution d'entretien due à l'ex-femme de celui-ci. De surcroît, même si l'épouse avait pu faire certaines économies, son épargne avait vraisemblablement contribué, du moins pour partie, à l'achat d'un chalet. Enfin, l'intéressée avait établi qu'en plus des biens immobiliers dont elle était propriétaire, elle était titulaire d'un portefeuille de titres d'une valeur de 71'793 fr. et possédait des liquidités à hauteur de 87'021 fr. Eu égard à sa fortune actuelle, au montant des salaires perçus et au fait qu'elle avait participé au paiement des pensions de l'ex-épouse du mari, il était pour le moins improbable qu'elle fût parvenue à thésauriser les montants avancés par celui-ci. A titre superfétatoire, il fallait encore relever que le seul fait de posséder des titres ou des liquidités importantes ne suffisait pas encore à priver un époux du droit à une contribution d'entretien.
Le recourant ne démontre pas que ce raisonnement serait insoutenable. En particulier, il ne cherche pas à établir que l'autorité cantonale aurait arbitrairement apprécié les documents sur lesquels elle s'est fondée pour conclure qu'une partie des revenus de l'épouse avait servi au paiement des dettes du mari. Il se contente d'affirmer, de manière appellatoire, que le courrier adressé à son notaire le 16 juillet 2003, à teneur duquel les sommes versées à sa première épouse à titre de contributions d'entretien ont été prélevées sur le bénéfice de l'union conjugale, ne permet aucune déduction en ce sens, ce qui n'est pas suffisant au regard des exigences de motivation déduites de l'art. 106 al. 2 LTF. De toute façon, l'autorité cantonale ne s'est pas appuyée sur cette seule pièce. Elle a également retenu que, dans une note rédigée le 25 juillet 2005, le mari avait confirmé la participation de son épouse au paiement desdites contributions d'entretien, précisant que celles-ci avaient représenté un total de 1'500'000 fr.; de plus, la reconnaissance de dette du mari en faveur de l'épouse du 8 octobre 2003, d'un montant de 500'000 fr., mentionnait en particulier comme cause la participation de la créancière au paiement des pensions dues à l'ex-épouse du débiteur. Le recourant ne critique pas l'appréciation de ces documents, ni ne remet en cause les autres motifs avancés par l'autorité cantonale. Autant qu'il est suffisamment motivé, le grief est dès lors infondé.
3. Le recourant soutient en outre que, compte tenu du caractère définitif de la séparation des parties, l'autorité cantonale aurait dû, avant de mettre à sa charge une contribution d'entretien en faveur de l'intimée, examiner la situation financière globale de chacun des conjoints et, en particulier, prendre en compte le revenu de 1'950 fr. par mois que l'épouse peut, selon lui, retirer du produit de la vente de son chalet, pour un montant de 780'000 fr.
3.1 D'après l'art. 176 al. 1 ch. 1 CC, le juge fixe la contribution pécuniaire à verser par l'une des parties à l'autre. Pour fixer la pension, le juge doit partir de la convention, expresse ou tacite, que les époux ont conclue au sujet de la répartition des tâches et des ressources entre eux pour la vie commune (art. 163 al. 2 CC). Même lorsqu'on ne peut plus sérieusement compter sur une reprise de la vie commune, l'art. 163 CC demeure en effet la cause de l'obligation d'entretien réciproque des époux (ATF 137 III 385 consid. 3.1; 130 III 537 consid. 3.2). Le juge doit ensuite prendre en considération qu'en cas de suspension de la vie commune (art. 175 s. CC), le but de l'art. 163 CC, soit l'entretien convenable de la famille, impose à chacun des époux le devoir de participer, selon ses facultés (art. 163 al. 2 CC), aux frais supplémentaires engendrés par l'existence parallèle de deux ménages. Si la situation financière des époux le permet encore, le standard de vie antérieur, choisi d'un commun accord, doit être maintenu pour les deux parties. Quand il n'est pas possible de conserver ce niveau de vie, les époux ont droit à un train de vie semblable (ATF 119 II 314 consid. 4b/aa p. 318; arrêt 5A_710/2009 consid. 4.1 non publié aux ATF 136 III 257).
3.2 L'autorité cantonale a considéré que le montant de la contribution d'entretien, fixé par la juge de district à 2'350 fr. par mois en application de la méthode dite du minimum vital, permettait à chacun des conjoints de maintenir leurs conditions de vie antérieures et, dans tous les cas, ne procurait pas à l'épouse un niveau de vie supérieur à celui qui était le sien durant la vie commune. Le recourant ne démontre pas qu'en confirmant sur ce point la décision de première instance, le jugement attaqué violerait arbitrairement les principes qui viennent d'être énoncés. De plus, le produit de la vente du chalet de l'épouse, qui s'élèverait selon lui à 780'000 fr., ne résulte pas des constatations de l'autorité cantonale, sans que le recourant n'établisse d'arbitraire dans l'établissement des faits. Au reste, il n'a pas soulevé, en appel, la question de la prise en compte, dans les ressources de l'intimée, des éventuels revenus tirés de ce montant (art. 75 al. 1 LTF). Il ne peut donc être tenu compte de ses allégations.
4. En conclusion, le recours se révèle mal fondé et doit dès lors être rejeté, dans la mesure où il est recevable. Le recourant, qui succombe, supportera par conséquent les frais de la présente procédure (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens à l'intimée, qui n'a pas été invitée à répondre.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Juge de la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 1er juin 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Mairot