Faits :
A.
A.A._ (1963) et B.A._ (1965) se sont mariés en mars 1996. Ils ont eu deux enfants, nés en 1996 et 1998. Les parties se sont séparées en 2000.
Par jugement du 29 août 2001, le juge du Tribunal du district de Zurich a prononcé leur divorce et notamment condamné l'ex-époux à contribuer à l'entretien de son ex-épouse à raison de 6'000 fr. par mois du 1er mars 2001 à la fin février 2008, puis de 3'500 fr. par mois dès cette date et jusqu'à la fin février 2014.
B.
Par mémoire du 26 novembre 2003, l'ex-époux a ouvert action en modification du jugement de divorce devant le Juge du district de Sierre, sollicitant que la contribution d'entretien en faveur de son ex-épouse soit réduite à 1'500 fr. par mois du 1er juin 2003 à fin février 2008.
L'instruction a été suspendue le 8 avril 2009, des pourparlers étant en cours.
Le 29 décembre 2011, l'ex-épouse a exposé qu'elle s'était remariée le 2 septembre 2011. Elle a donné acte à son ex-époux que plus aucune contribution d'entretien ne lui était due à compter du 1er septembre 2011, les pensions dues pour la période du 29 septembre 2003 au 31 août 2011 restant à payer.
Par mémoire du 14 juin 2013, l'ex-époux a conclu principalement à la suppression de toute contribution d'entretien dès le 1er décembre 2003, subsidiairement à ce que la contribution d'entretien soit fixée à 500 fr. à compter de l'introduction de l'action en modification du jugement de divorce jusqu'au mois d'avril 2006, puis supprimée dès le mois de mai 2006.
Le 16 août 2013, le Juge du district de Sierre a partiellement admis la requête en modification du jugement de divorce, en ce sens que la contribution d'entretien de 6'000 fr. par mois est suspendue du 1er décembre 2003 au 31 décembre 2004, et reprend effet du 1er janvier 2005 au 28 février 2008, pour être réduite à 3'500 fr. par mois du 1er mars 2008 au 31 décembre 2009. Dès le 1er janvier 2010 et jusqu'au 31 août 2011, la contribution d'entretien a été fixée à 1'750 fr. par mois. Elle a été supprimée à compter du 1er septembre 2011.
Par jugement du 25 mai 2015, la Cour civile II du Tribunal cantonal du canton du Valais a rejeté l'appel interjeté par l'ex-époux contre cette décision.
C.
Par mémoire du 26 juin 2015, l'ex-époux exerce un recours en matière civile au Tribunal fédéral. Il conclut à l'annulation de l'arrêt entrepris et à sa réforme, en ce sens que la contribution d'entretien en faveur de son ex-épouse est supprimée à compter du mois de décembre 2003. Subsidiairement, il requiert le renvoi de la cause à l'autorité cantonale pour nouvelle décision.
Invitées à se déterminer, l'intimée a sollicité le rejet du recours et la cour cantonale s'est référée aux considérants de sa décision.
D.
Par ordonnance présidentielle du 29 juin 2015, la requête d'effet suspensif a été rejetée.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>), prise par un tribunal cantonal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF), dans une affaire civile (<ref-law>) dont la valeur litigieuse atteint 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 première phr. et 74 al. 1 let. b LTF). Il a été interjeté en temps utile (<ref-law>) et en la forme prévue par la loi (<ref-law>), par une partie qui a pris part à la procédure devant l'autorité précédente (<ref-law>) et a un intérêt digne de protection à l'annulation ou à la modification de la décision attaquée (<ref-law>).
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influencer le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte (<ref-law>), à savoir que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.1 p. 39; <ref-ruling> consid. 1.2.2 p. 252), doit démontrer, par une argumentation précise, en quoi consiste la violation (<ref-law>).
2.2. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 3 p. 415; <ref-ruling> consid. 1.4 p. 400). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (ATF <ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 105).
3.
La modification ou la suppression de la contribution d'entretien due à l'ex-conjoint, fixée dans un jugement de divorce, est régie par l'<ref-law>. Elle suppose que des faits nouveaux importants et durables soient survenus dans la situation du débirentier ou du crédirentier, qui commandent une réglementation différente. La procédure de modification n'a pas pour but de corriger le premier jugement, mais de l'adapter aux circonstances nouvelles. Le fait revêt un caractère nouveau lorsqu'il n'a pas été pris en considération pour fixer la contribution d'entretien dans le jugement de divorce. Ce qui est déterminant, ce n'est pas la prévisibilité des circonstances nouvelles mais exclusivement le fait que la rente ait été fixée sans tenir compte de ces circonstances futures. Lorsque le juge admet que les conditions de l'<ref-law> sont remplies, il doit en principe fixer à nouveau la contribution d'entretien sur la base des critères de l'<ref-law>, après avoir actualisé tous les éléments pris en compte pour le calcul dans le jugement précédent, en faisant usage de son pouvoir d'appréciation. Pour que le juge puisse procéder à cette actualisation, il n'est pas nécessaire que la modification survenue dans ces autres éléments constitue également un fait nouveau (cf. <ref-ruling> consid. 11.1.1 p. 292 et les références; en matière de modification des mesures provisionnelles prises pour la durée de la procédure de divorce: <ref-ruling> consid. 3.3.1 p. 378).
La survenance de faits nouveaux importants et durables n'entraîne toutefois pas automatiquement une modification du montant de la contribution d'entretien; celle-ci ne se justifie que lorsque la différence entre le montant de la contribution d'entretien nouvellement calculée et celle initialement fixée est d'une ampleur suffisante (arrêts 5A_33/2015 du 28 avril 2015 consid. 4.1; 5A_487/2010 du 3 mars 2011 consid. 2.3).
4.
En l'espèce, la cour cantonale a rappelé que dans le cadre du jugement de divorce du 29 août 2001, le juge a ratifié la convention des parties concernant notamment la pension en faveur de l'ex-épouse. Les montants pris en considération pour fixer cette contribution d'entretien étaient un salaire mensuel net de l'ex-époux de 18'000 fr., allocations familiales comprises, et de 0 fr. pour l'ex-épouse; la fortune de celle-ci s'élevait à 2 mios fr., alors que celle de l'ex-époux était nulle. Les parties avaient renoncé au partage de leurs avoirs de prévoyance professionnelle pour tenir compte de la fortune de l'ex-épouse. Les charges mensuelles de l'ex-époux s'élevaient à 9'000 fr., et celles de l'ex-épouse à 10'500 fr.; le détail de celles-ci ne ressortait pas de la convention. Les parties avaient aussi réglé les conséquences d'un éventuel concubinage de l'ex-épouse sur l'obligation de contribution du mari. Ainsi, en cas de concubinage, la contribution devait être réduite de moitié dès le 13ème mois et annulée dès le 37ème mois, pour autant que le revenu du concubin soit supérieur à 5'500 fr. net par mois.
Reprenant les considérations du premier juge, la cour cantonale a relevé que la diminution sensible des ressources de l'ex-époux, ensuite de la perte de son emploi, de la période de chômage qui a suivi et des conditions salariales de son engagement au sein de C._, d'une part, et de l'augmentation de ses charges liées à la naissance de sa fille du second lit en mai 2003, d'autre part, justifiaient une suspension de la contribution d'entretien pour la période du 1er décembre 2003 au 31 décembre 2004. Le premier juge avait par ailleurs constaté que le revenu du concubin de l'ex-épouse en 2009 réalisait la condition prévue par le jugement de divorce pour réduire la contribution d'entretien: celle-ci a ainsi été fixée à 1'750 fr. par mois du 1er janvier 2010 au 31 août 2011. Elle a été supprimée dès le 1er septembre 2011, en raison du remariage de l'ex-épouse. Ces considérations n'avaient pas été contestées en appel.
La cour cantonale a encore relevé que les revenus que l'ex-épouse a pu tirer de sa fortune après le divorce, ainsi que l'allègement de ses besoins d'entretien ensuite de son installation en Valais central, ne constituaient pas des circonstances nouvelles au sens de l'art. 129CC. En effet, la contribution d'entretien de l'ex-épouse avait été fixée en faisant volontairement abstraction des revenus de sa fortune et, au moment du divorce, les conditions de vie de l'intéressée, installée à V._, avaient été prises en compte. En outre, la vente de la maison de U._ n'avait pas modifié de manière significative la situation financière de l'ex-épouse, celle-ci s'étant trouvée libérée, d'une part, de la charge hypothécaire, mais privée, d'autre part, du rendement locatif de l'immeuble. Elle n'avait d'ailleurs fait qu'utiliser les éléments de sa fortune existant au moment du divorce pour l'achat et la construction de son logement à W._.
Examinant ensuite les allégations de l'ex-époux s'agissant de ses nouvelles charges de famille, la juridiction précédente a relevé que seule la situation prévalant dès le 1er janvier 2005 pouvait entrer en considération. L'ex-époux, à qui incombait le fardeau de la preuve en vertu de l'<ref-law>, n'avait pas justifié le coût supplémentaire de l'entretien de sa famille du second lit. Par ailleurs, dès le début de l'année 2005, il avait bénéficié, au service de D._ Ltd, en tout cas d'un salaire mensuel net de quelque 22'000 fr., soit d'un revenu à tout le moins supérieur de plus de 4'000 fr. par rapport à celui pris en compte au moment du divorce. Il n'avait toutefois pas produit les contrats de travail en relation avec ses emplois en Angleterre et aux Etats-Unis, de sorte que l'on ignorait l'ampleur exacte de ses revenus, en particulier s'il bénéficiait d'un 13ème, voire d'un 14ème salaire ou de prestations en nature (participation au loyer, à ses frais de déplacement, de nourriture, etc.). Il en allait de même s'agissant des revenus de son activité aux USA, puisqu'il n'avait déposé aucune pièce à ce sujet. Ainsi, faute de l'avoir établie, l'ex-époux ne pouvait appuyer ses conclusions sur la péjoration de sa capacité contributive entre le moment du divorce et le début de l'année 2005.
Enfin, le concubinage de l'épouse dès 2004 ne devait pas conduire à la suppression de la contribution d'entretien, dès lors que les parties avaient expressément réglé cette éventualité dans le cadre de la convention ratifiée pour valoir jugement de divorce. Il ne s'agissait ainsi nullement d'un motif de modification dudit jugement au sens de l'<ref-law>. En application du jugement de divorce et compte tenu du revenu réalisé par le concubin, la pension en faveur de l'épouse devait ainsi être ramenée à 1'750 fr., c'est-à-dire réduite de moitié, dès le 1er janvier 2010.
5.
Le recourant fait valoir que la cour cantonale, sur la base de faits établis de façon manifestement inexacte (<ref-law>), a violé l'<ref-law>.
5.1. Premièrement, il explique que, bien que l'évolution de sa propre situation familiale ait été mentionnée dans l'arrêt entrepris (cf. consid. 3.2.1 de la décision querellée), la cour cantonale n'a nullement tenu compte de l'augmentation de ses charges due à sa nouvelle famille. Or, il serait évident que le fait de se remarier et d'avoir deux enfants d'un second lit entraîne un accroissement des charges et qu'en outre, sa seconde famille aurait le droit d'être traitée de la même manière que la première, de sorte que la décision attaquée contreviendrait sur ce point au droit fédéral.
Par sa critique, le recourant ne s'en prend pas véritablement à la motivation de l'autorité cantonale. Celle-ci a d'une part confirmé la solution du premier juge, selon laquelle la contribution d'entretien devait être suspendue entre le 1er décembre 2003 et le 31 décembre 2004, notamment en raison de l'augmentation de ses charges liées à la naissance de sa fille d'un second lit en mai 2003. Elle en a dès lors bel et bien tenu compte. D'autre part, elle a constaté que dès le début de l'année 2005, le recourant avait bénéficié d'un salaire mensuel supérieur de plus de 4'000 fr. par mois par rapport à celui pris en compte au moment du divorce, et qu'il n'avait par ailleurs pas justifié la prétendue péjoration de sa capacité contributive, notamment parce qu'il n'avait pas établi le montant de ses charges ni produit ses contrats de travail relatifs à ses emplois successifs en Angleterre et aux Etats-Unis, de sorte que l'on ignorait l'ampleur exacte de ses revenus. En se contentant de se plaindre du fait que sa charge de famille n'a pas été pris en compte, le recourant ne réfute ainsi nullement le raisonnement de l'autorité cantonale (<ref-law>), ne prétendant en particulier pas avoir allégué et démontré les éléments précités.
5.2. Dans une deuxième critique, le recourant affirme que le concubinage de l'ex-épouse, dès 2004, devait être pris en considération, malgré la teneur de la convention ratifiée pour valoir jugement de divorce, puisque le concubin contribuait dès le début du concubinage notamment au paiement du loyer de l'intimée à raison de 500 fr. par mois, de sorte que la situation de celle-ci s'en trouvait significativement et durablement modifiée.
Sa critique n'est pas de nature à démontrer une quelconque violation du droit fédéral, dès lors qu'il ne s'en prend pas au raisonnement de la cour cantonale (<ref-law>), selon lequel il était prévu, dans la convention de divorce ratifiée pour valoir jugement, qu'en cas de concubinage de l'épouse, la contribution d'entretien serait réduite de moitié dès le 13ème mois et annulée dès le 37ème mois, pour autant toutefois que le revenu du concubin soit supérieur à 5'500 fr. net par mois; or, il ressort de l'arrêt entrepris que le revenu net du concubin était inférieur à 66'000 fr. (soit 5'500 fr. par mois) en 2004, 2005, 2006, 2007 et 2008 (consid. 2.3 p. 7, 3.1 p. 7s. et 4.3 p. 11 de l'arrêt). Le recourant ne prétend par ailleurs pas, ni a fortiori ne démontre, que la teneur de la convention précitée serait différente, par exemple dans le sens d'une prise en compte de l'aide financière concrètement fournie par le concubin, indépendamment du salaire de celui-ci.
5.3.
5.3.1. Enfin, le recourant soutient que la cour cantonale a violé l'<ref-law>, en tant qu'elle a omis de prendre en considération l'augmentation significative et durable des revenus de l'intimée, ce qui aurait dû conduire à réduire, voire à supprimer la pension. Il mentionne par ailleurs des chiffres ressortant de décisions de taxation de l'ex-épouse.
5.3.2. En substance, l'intimée expose pour sa part que selon l'arrêt attaqué (consid. 2.2 p. 6), le montant de la contribution prévue dans le jugement de divorce devait lui permettre de conserver son niveau de vie sans avoir besoin de travailler durant le jeune âge des enfants. En mentionnant qu'elle n'avait aucun revenu, la convention se rapportait aux seuls revenus du travail, ceux de la fortune étant censés compenser la perte de la prévoyance professionnelle. Elle ajoute que si elle a réalisés des revenus tirés de son activité lucrative après le divorce, c'est parce que son ex-mari ne lui versait pas la pension. Si elle avait régulièrement reçu la contribution d'entretien de 6'000 fr. à laquelle elle avait droit, les revenus mentionnés sur ses déclarations d'impôts auraient été supérieurs à ceux qu'elle a réalisés par elle-même, de sorte qu'il ne pouvait être question de réduire sa contribution d'entretien pour ce motif.
5.3.3. Les chiffres mentionnés par le recourant à titre de revenus de l'intimée, qui auraient selon lui été constatés par le fisc, ne correspondent pas à ceux retenus par l'autorité cantonale comme revenus de son travail, sans qu'il ne démontre d'arbitraire dans la constatation des faits à cet égard; ils ne seront ainsi pas pris en considération (cf. supra consid. 2.1). Par ailleurs, le refus de la cour cantonale de tenir compte des revenus de la fortune de l'épouse, car ceux-ci avaient déjà été pris en compte dans le jugement de divorce, ne prête pas le flanc à la critique. Cela étant, la juridiction d'appel a constaté, en fait, que le montant pris en compte en 2001 dans le jugement de divorce à titre de salaire de l'intimée pour calculer la contribution d'entretien était de 0 fr. (consid. 2.3 de cet arrêt) et que, par la suite, l'intimée a réalisé un revenu provenant d'une activité dépendante de 1'481 fr. en 2005, de 22'936 fr. en 2006, de 22'924 fr. en 2007 et de 45'759 fr. en 2008, de 35'388 fr. en 2009 et de 40'981 fr. en 2010 (consid. 3.1 de l'arrêt). Dès lors qu'ils avaient admis l'existence de faits nouveaux justifiant d'entrer en matière sur la demande de modification du jugement de divorce, il appartenait aux juges cantonaux d'actualiser les revenus de l'intimée (que ceux-ci soient ou non qualifiés de faits " nouveaux " au sens de l'<ref-law>; cf. supra consid. 3), partant, de tenir compte de ces éléments dans le cadre du nouveau calcul de la pension, sous peine de violer l'<ref-law>. On soulignera que les allégations de l'intimée, selon lesquelles ses revenus ont été moindres que si son ex-mari lui avait versé la pension prévue, sont sans pertinence à cet égard. Peu importe également les motifs qui l'ont poussée à travailler. Il résulte de ce qui précède que la cause doit être renvoyée à la juridiction précédente (<ref-law>) afin qu'elle procède au nouveau calcul de la contribution d'entretien pour les années durant lesquelles l'épouse a tiré un revenu de son travail et, sur cette base, qu'elle détermine s'il y a lieu de modifier le montant de la contribution d'entretien (cf. supra consid. 3 in fine).
6.
En conclusion, le recours est admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Les frais judiciaires sont mis à la charge de l'intimée, qui succombe (<ref-law>). Celle-ci versera une indemnité de dépens au recourant (art. 68 al. 1 et 2 LTF). Il appartiendra à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et l'affaire est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimée.
3.
Une indemnité de 2'500 fr., à payer au recourant à titre de dépens, est mise à la charge de l'intimée.
4.
Le présent arrêt est communiqué aux parties et à la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 8 mars 2016
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Bonvin