Faits: A. Le 27 octobre 1989, A._, né en 1934, a épousé en secondes noces B._, née en 1935. Aucun enfant n'est issu de cette union. Le 28 janvier 2011, la Juge du district de Sion (ci-après: la juge de district) a, sur requête de l'épouse, autorisé les conjoints à se constituer un domicile séparé. B. Par décision de mesures protectrices de l'union conjugale du 28 juin 2011, la juge de district a, entre autres points, condamné le mari à verser à l'épouse une contribution d'entretien d'un montant de 2'350 fr. par mois. Le Juge de la Cour civile II du Tribunal cantonal du canton du Valais a, par jugement du 19 décembre 2011, rejeté l'appel du mari tendant notamment à la suppression de dite contribution. C. Par acte du 19 janvier 2012, le mari exerce un recours en matière civile au Tribunal fédéral. Il conclut à la réforme du jugement du 19 décembre 2011 en ce sens qu'il est libéré de toute obligation d'entretien envers l'épouse à compter du 1er février 2011. Subsidiairement, il demande l'annulation du jugement entrepris et le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. L'intimée n'a pas été invitée à répondre.