Faits : A. A._, né en 1960, et B._, née en 1977, se sont mariés le 10 mars 2008. Quatre enfants sont issus de leur union: C._, né en 2005, D._, née en 2007, E._, né en 2008, et F._, née en 2009. Par décision de mesures protectrices de l'union conjugale du 21 juin 2013, le juge du Tribunal civil des Montagnes et du Val-de-Ruz, statuant sur la requête de l'épouse du 1 er septembre 2011, a, entre autres points, condamné le mari à contribuer à l'entretien de sa famille par le versement à l'épouse de 4'000 fr. pour août 2011, 2'000 fr. pour septembre 2011 et 2'000 fr. pour octobre 2011, ainsi que par des pensions mensuelles de 1'250 fr. par enfant, allocations familiales en plus, et de 3'000 fr. pour l'épouse, dès le 1 er novembre 2011, sous déductions des acomptes versés. B. Statuant le 30 avril 2014, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel a rejeté l'appel formé par le mari contre cette décision. C. Par acte du 5 juin 2014, le mari exerce un recours en matière civile contre l'arrêt du 30 avril précédent. Il conclut, principalement, à ce que la contribution d'entretien mensuelle en faveur de l'épouse soit fixée à 1'918 fr. et celle en faveur des enfants à 1'000 fr. chacun. Subsidiairement, il demande le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Invitées à se déterminer, l'épouse a proposé le rejet du recours tandis que l'autorité cantonale s'est référée aux considérants de son arrêt. Le recourant a déposé une réplique spontanée en confirmant les conclusions prises dans son recours. L'intimée a indiqué qu'elle renonçait à dupliquer.