Faits: A. Par décision de mesures protectrices de l'union conjugale du 2 novembre 2009, le juge II des districts d'Hérens et Conthey (ci-après: le juge de district) a, notamment, autorisé les conjoints A._ et B.X._ à se constituer un domicile séparé pour une durée indéterminée, attribué à l'épouse l'usage du domicile familial et condamné le mari à verser à celle-ci une contribution d'entretien d'un montant de 1'750 fr. pour juillet 2009, de 1'950 fr. pour août 2009 puis de 1'250 fr. par mois dès septembre 2009. B. Le 8 avril 2011, le mari a déposé une demande en divorce et, le 13 juillet suivant, une requête de mesures provisionnelles, modifiée lors de l'audience du 28 novembre 2011, tendant à ce qu'il soit dispensé de toute contribution à l'entretien de l'épouse. Le juge de district a, par décision du 18 janvier 2012, modifié la décision de mesures protectrices de l'union conjugale en ce sens que la contribution en faveur de l'épouse est supprimée avec effet dès le 1er août 2011. Par décision du 27 avril 2012, la Juge de la Cour civile II du Tribunal cantonal du canton du Valais a admis l'appel interjeté par l'épouse contre la décision du 18 janvier 2012 et rejeté la requête de mesures provisionnelles du mari. C. Par acte du 25 mai 2012, le mari exerce un recours en matière civile contre la décision du 27 avril 2012. Il conclut, principalement, à son annulation et à la confirmation de la décision de première instance. Subsidiairement, il demande le renvoi de l'affaire à l'autorité cantonale pour nouvelle décision. L'intimée et l'autorité cantonale proposent le rejet du recours.