Faits:
A. Par jugement du 11 mars 1993, le Président du Tribunal civil du district de Rolle a prononcé le divorce des époux X._. Il a en particulier ratifié, pour faire partie intégrante du dispositif du jugement, la convention signée par les parties les 13 et 14 mai 1992 prévoyant que l'autorité parentale et la garde sur les enfants A._, né en 1981, et B._, née en 1986, sont attribuées à la mère et fixant la contribution due par le père pour l'entretien de chacun d'eux à 700 fr. par mois jusqu'à l'âge de douze ans révolus, 750 fr. dès lors et jusqu'à l'âge de quinze ans révolus et 800 fr. dès lors et jusqu'à la majorité; cette convention précisait que le versement de la pension serait poursuivi au-delà si, la majorité atteinte, l'enfant n'avait pas terminé ses études ou sa formation professionnelle, moyennant qu'il les effectue normalement.
B. B.a Le 24 novembre 2004, le père a ouvert action en modification du jugement de divorce, concluant à ce qu'il soit libéré de toute contribution en faveur de ses enfants; il a fait valoir que ceux-ci avaient atteint leur majorité, terminé leurs études et refusaient de le rencontrer depuis 1997.
B.b Lors d'une audience qui s'est déroulée le 1er décembre 2005, le père et ses enfants ont signé une convention qui prévoit notamment ce qui suit:
I. Dès et y compris le 1er décembre 2005, X._ contribuera à l'entretien de A._ par un versement mensuel de Fr. 500.--, tous les premiers de chaque mois, ce jusqu'au 1er août 2006 y compris.
II. Dès et y compris le 1er septembre 2006, X._ contribuera à l'entretien de B._ par un versement mensuel de Fr. 500.--, tous les premiers de chaque mois, jusqu'au 1er août 2012 y compris, date de fin d'études prévues, stage compris.
(...)
III. (...)
IV. Parties mettront tout en oeuvre pour rétablir des relations entre elles.
Le jugement ratifiant cette convention a été envoyé le 12 décembre 2005 pour notification aux parties.
C. Considérant que ses enfants n'avaient pas respecté le chiffre IV de cette convention, le père a ouvert, le 23 février 2006, une nouvelle action en modification du jugement de divorce devant le Président du Tribunal civil de l'arrondissement de La Côte; il a conclu à ce que la contribution allouée à son fils soit supprimée dès et y compris le 1er décembre 2004, et celle allouée à sa fille dès et y compris le 1er août 2005, ses enfants étant condamnés à lui rembourser les contributions versées en trop.
A l'audience du 7 mai 2007, le père a modifié ses conclusions en ce sens qu'il est libéré de la contribution en faveur de son fils dès et y compris le 1er août 2005, et de celle en faveur de sa fille dès et y compris le 1er février 2005.
D. Par jugement du 8 octobre 2007, le Président du Tribunal civil de l'arrondissement de La Côte a rejeté la demande.
Par arrêt du 11 février 2008, la Chambre des recours du Tribunal cantonal vaudois a confirmé ce jugement.
E. Le 9 juillet 2008, le père a interjeté un recours en matière civile contre cet arrêt, concluant à sa réforme en ce sens que sa demande de modification du jugement de divorce est admise, ses enfants étant respectivement condamnés à lui verser les contributions d'entretien perçues indûment, valeur à la date du jugement à intervenir; à titre subsidiaire, il a conclu à l'annulation de l'arrêt entrepris, la cause étant renvoyée à l'autorité cantonale. Il se plaint d'une violation des art. 134 al. 2, 277 et 286 al. 2 CC.
Les intimés proposent le rejet du recours.
Considérant en droit:
1. 1.1 Interjeté en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) rendue en matière civile (art. 72 al. 1 LTF) par l'autorité cantonale de dernière instance statuant sur recours (art. 75 LTF), dans une contestation de nature pécuniaire dont la valeur litigieuse (cf. art. 51 al. 1 let. a LTF) atteint 30'000 fr. (art. 74 al. 1 let. b LTF), le présent recours est recevable au regard de ces dispositions.
1.2 Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2 p. 550). Compte tenu des exigences de motivation posées, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), à l'art. 42 al. 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques pouvant se poser lorsqu'elles ne sont plus discutées devant lui (ATF 133 IV 150 consid. 1.2 p. 152). Il ne connaît de la violation de droits fondamentaux ou du droit cantonal que si ce grief a été soulevé et motivé par le recourant (art. 106 al. 2 LTF), les exigences de motivation correspondant à celles de l'ancien art. 90 al. 1 let. b OJ (ATF 133 II 249 consid. 1.4.2 p. 254; 133 III 393 consid. 6 p. 397).
1.3 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influencer le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte (art. 97 al. 1 LTF), à savoir que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.2.2 p. 252), doit démontrer, par une argumentation précise, en quoi consiste la violation. Le Tribunal fédéral n'examine en effet la violation de l'interdiction de l'arbitraire que si ce grief a été invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (principe d'allégation; ATF 133 IV 286 consid. 1.4 p. 287). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
2. 2.1 Le recourant fait valoir que les événements postérieurs à la signature de la convention du 1er décembre 2005, à savoir l'altercation qui a eu lieu avec son fils à la sortie de l'audience et le refus de ses enfants de reprendre des relations personnelles avec lui nonobstant l'accord passé, constituent des faits nouveaux susceptibles d'entraîner une modification des contributions d'entretien à sa charge. Les intimés auraient par ailleurs acquis une formation appropriée au sens de l'art. 277 al. 2 CC; son fils est titulaire d'une licence HEC de l'Université de Lausanne depuis le mois d'août 2005, et sa fille au bénéfice d'un certificat fédéral de capacité d'employée de commerce obtenu au mois de juillet 2005. On ne saurait lui imputer à cet égard d'avoir reconnu, par la signature de la convention du 1er décembre 2005, que ses enfants poursuivraient au-delà une formation appropriée; cet accord transactionnel ne vaudrait pas "admission d'une notion juridique".
2.2 La cour cantonale a considéré que le recourant avait déjà soutenu, dans la procédure en modification du jugement de divorce ayant abouti à la signature de la convention du 1er décembre 2005, que les intimés avaient achevé leur formation appropriée; cette question a été définitivement tranchée par le jugement du 12 décembre 2005 ratifiant cet accord et l'intéressé ne fait pas valoir que ses enfants auraient modifié depuis les plans de formation couverts par ce jugement. Il ne saurait dès lors remettre en cause, en dehors d'une procédure de révision, le fait que ces formations sont appropriées au sens de l'art. 277 CC.
2.3 Les conclusions du recourant tendent à la suppression des contributions d'entretien dès le 1er février 2005 pour sa fille et dès le 1er août 2005 pour son fils. Elles portent ainsi notamment sur des périodes antérieures à la signature de la convention du 1er décembre 2005, ratifiée le 12 décembre suivant. De cette manière, le recourant s'en prend en réalité à la validité de cet accord, qu'il estime nul pour le motif que ses enfants ne l'ont pas respecté en ne renouant pas de relations personnelles avec lui.
Par la ratification, la convention devient partie intégrante du jugement; elle participe à la force de chose jugée de celui-ci, de sorte que l'intéressé n'est plus habilité à la remettre en cause en dehors d'une procédure de révision cantonale (ATF 119 II 297 consid. 3b p. 301/302; HOHL, Procédure civile, t. I, 2001, n° 1384 ss). Il s'ensuit que c'est à juste titre que la cour cantonale a, par une argumentation certes peu claire, refusé d'examiner l'invalidité alléguée de la convention et rejeté la demande du recourant en ce qu'elle tend à la suppression rétroactive des contributions d'entretien.
3. Reste à examiner si celui-ci peut demander la suppression de ces contributions en raison de faits nouveaux survenus postérieurement au jugement du 12 décembre 2005.
3.1 Aux termes de l'art. 286 al. 2 CC, si la situation change notable-ment, le juge modifie ou supprime la contribution d'entretien à la demande du père, de la mère ou de l'enfant. Cette modification ou suppression suppose que des faits nouveaux importants et durables surviennent, qui commandent une réglementation différente. La procédure de modification n'a en effet pas pour but de corriger le premier jugement, mais de l'adapter aux circonstances nouvelles (ATF 120 II 177 consid. 3a p. 178; 285 consid. 4b p. 292), parmi lesquelles figure la détérioration, depuis le jugement de divorce, des relations personnelles entre le parent et l'enfant majeur (HEGNAUER, Berner Kommentar, 4e éd. 1997, n° 81 ad art. 286 CC; BREITSCHMID, in Basler Kommentar, Zivilgesetzbuch, 3e éd. 2006-2007, n° 14 ad art. 286 CC).
L'art. 277 al. 2 CC pose les conditions de l'obligation d'entretien des père et mère à l'égard de leur enfant majeur poursuivant sa formation. Cette obligation dépend expressément de l'ensemble des circonstances et notamment des relations personnelles entre les parties. L'inexistence de celles-là attribuée au seul comportement du demandeur d'aliments peut ainsi justifier un refus de toute contribution d'entretien. La jurisprudence exige toutefois que l'attitude de l'enfant lui soit imputable à faute, celle-ci devant être appréciée subjectivement (ATF 113 II 374 consid. 2 p. 376/377); l'enfant doit avoir violé gravement (ATF 111 II 411 consid. 2 p. 416) les devoirs qui lui incombent en vertu de l'art. 272 CC, et dans les cas où les relations personnelles sont rompues, avoir provoqué la rupture par son refus injustifié d'entretenir celles-là, son attitude gravement querelleuse ou son hostilité profonde. Admettre, dans de telles circonstances, le droit à l'entretien après la majorité reviendrait en effet à réduire le débiteur au rôle de parent payeur, ce que n'a assurément pas voulu le législateur (ATF 113 II 374 consid. 2 p. 376; ATF 120 II 177 consid. 3c p. 179 et les arrêts cités; arrêt 5C.205/2004 du 8 novembre 2004 consid. 5.1, in FamPra.ch 2005 p. 414).
Toutefois, une réserve particulière s'impose lorsqu'il s'agit du manquement filial d'un enfant de parents divorcés envers ceux-ci ou l'un d'eux; il faut tenir compte des vives émotions que le divorce des parents peut faire naître chez l'enfant et des tensions qui en résultent normalement, sans qu'on puisse lui en faire le reproche. Néanmoins, si l'enfant persiste, après être devenu majeur, dans l'attitude de rejet adoptée lors du divorce à l'égard du parent qui n'avait pas la garde, bien que celui-ci se soit comporté correctement envers lui, cette attitude inflexible lui est imputable à faute (ATF 113 II 374 consid. 4 p. 378 ss; 117 II 127 consid. 3b p. 130; cf. ATF 129 III 375 consid. 4.2 p. 379/380; arrêt 5C.205/2004 du 8 novembre 2004 consid. 5.1, in FamPra.ch 2005 p. 414). En ce domaine, le juge jouit d'un large pouvoir d'appréciation (art. 4 CC; HEGNAUER, op. cit., n° 89 ad art. 277 CC). Le Tribunal fédéral n'intervient qu'en cas d'excès ou d'abus de ce pouvoir, à savoir lorsque la décision attaquée repose sur une appréciation insoutenable des circonstances, qu'elle est inconciliable avec les règles du droit et de l'équité, qu'elle omet de tenir compte de tous les éléments propres à fonder la décision ou, au contraire, prend en considération des facteurs dénués de pertinence (cf. ATF 132 III 49 consid. 5.2 p. 57, 97 consid. 1 p. 99 et la jurisprudence citée).
3.2 Le recourant soutient que son fils a adopté après l'audience du 1er décembre 2005 un comportement inacceptable, crasse et choquant, en totale contradiction avec l'accord qu'il venait de conclure avec lui. La seule et unique raison pour laquelle il a signé cette convention était que ses enfants mettent tout en oeuvre pour rétablir des relations avec lui; or, cette condition sine qua non a été volontairement violée par l'intimé, ce qui constitue un changement de situation au sens de l'art. 134 al. 2 CC.
3.2.1 L'arrêt attaqué retient qu'à la sortie de l'audience du 1er décembre 2005, le recourant est allé saluer son fils. Celui-ci n'a pas serré la main que son père lui a tendue en lui disant "qu'il ne pouvait pas maintenant". La seconde épouse du recourant a alors déclaré "que tu vois, je te l'avais bien dit, c'est de la pure comédie! Ce n'est qu'une question de fric; elle va pouvoir se torcher avec!". L'intimé a alors hurlé à son père: "ne me croise plus jamais!".
3.2.2 Le recourant soutient que ces faits ont été établis de manière manifestement inexacte par les juges précédents; il ne ressortirait aucunement du dossier que l'intimé aurait employé le terme "maintenant" lorsqu'il a refusé de lui serrer la main. Le recourant conteste également les propos attribués à sa nouvelle épouse, lesquels résulteraient uniquement des allégations de l'intimé.
Le jugement rendu le 8 octobre 2007 par le Président du Tribunal civil de l'arrondissement de La Côte, dont la cour cantonale a repris l'état de fait, mentionne toutefois que les événements tels que retenus ont été confirmés par les témoignages de Y._ et dame X._, respectivement tante et mère des intimés. Le recourant ne remet pas en cause ces témoignages; partant, son grief est irrecevable.
Dans ces conditions et compte tenu de leur pouvoir d'appréciation (cf. supra, consid. 3.1 in fine), les juges cantonaux n'ont pas versé dans l'arbitraire en considérant que cette altercation ne faisait pas apparaître sous un jour nouveau l'appréciation selon laquelle l'intimé n'est pas le seul responsable de l'absence de relations avec le recourant, son refus de lui serrer la main ne témoignant pas d'une position définitive quant aux relations personnelles, puisque le fils a répondu dans un premier temps qu'il ne pouvait pas "maintenant". En outre, les propos de la nouvelle épouse confirment l'existence de tensions préexistantes, dont on ne saurait imputer exclusivement la faute à l'intimé. La critique du recourant, qui soutient que ces paroles - pour autant qu'elles soient retenues - n'émanaient pas de lui et ne visaient pas directement son fils, ne modifie pas cette appréciation. On ne saurait, en l'espèce, faire abstraction de l'émotion liée à la signature de la convention, mettant un terme à deux ans de procédure judiciaire dirigée par le père contre ses enfants, et retenir que le refus du fils de serrer la main du recourant dans l'immédiat constitue un refus durable, imputable à faute, d'entretenir avec lui des relations personnelles; au vu du contexte, le besoin implicitement exprimé par l'intimé de disposer d'un peu de temps ne viole pas l'engagement pris par les parties de "mettre tout en oeuvre pour rétablir des relations entre elles".
3.3 Le recourant soutient que l'intimée n'a pas respecté non plus la convention du 1er décembre 2005. Ce n'est pas elle qui a pris contact avec lui, mais l'inverse; ils n'ont eu que deux brèves rencontres depuis l'audience du 1er décembre 2005, lors desquelles sa fille avait pour seul but de s'assurer du bon règlement des pensions.
3.3.1 La cour cantonale a retenu que la fille n'a pas participé à l'altercation du 1er décembre 2005. Le 6 septembre 2006, le conseil du recourant s'est adressé au conseil des intimés pour demander le numéro de portable de l'intimée, afin que son client puisse la rencontrer. Le conseil des intimés lui a répondu le 14 septembre 2006 que l'intimée n'avait pas changé de numéro de téléphone et qu'elle était parfaitement disposée à rencontrer son père. L'intimée a alors appelé le recourant et deux rencontres ont eu lieu. Celui-ci a ensuite indiqué à sa fille qu'il ne souhaitait plus la revoir pour le moment et qu'il la reverrait vraisemblablement au tribunal.
3.3.2 Le recourant fait grief aux juges précédents d'avoir retenu, de manière inexacte et alors que cela ne ressortirait pas du dossier, que ces rencontres se sont tenues sur demande de l'intimée. Partant, c'est à tort qu'ils ont considéré qu'elle avait fait des efforts pour renouer des liens avec son père et, par conséquent, qu'elle n'était pas fautive s'agissant de l'inexistence de rapport avec le recourant.
Autant qu'il est suffisamment motivé (cf. supra, consid. 1.3 in fine), ce grief est mal fondé.
Le chiffre IV de la convention signée le 1er décembre 2005 prévoit que les "parties mettront tout en oeuvre pour rétablir des relations entre elles". Dans ces circonstances, la question de savoir qui du recourant ou de l'intimée a contacté l'autre n'est pas pertinente; l'accord ne précise pas, en effet, que la fille devait en avoir l'initiative. Faute de porter sur une constatation causale, ce grief est irrecevable (art. 97 al. 1 LTF; ATF 122 I 53 consid. 5 p. 57 et les arrêts cités).
A l'issue de ces rencontres, le recourant a refusé de revoir sa fille. Il ne conteste pas ce point, mais se borne à faire valoir que l'intimée aurait eu pour seul but, durant ces contacts, de s'assurer du paiement de la contribution d'entretien; cette allégation ne ressort cependant pas du jugement attaqué, de sorte que le Tribunal fédéral ne peut en tenir compte. Le recourant ayant interrompu les contacts avec l'intimée, il ne saurait ensuite prétendre que cette dernière est à l'origine de la rupture de leurs relations personnelles et qu'elle n'a pas respecté la convention signée. Dans ces conditions, c'est à bon droit que la cour cantonale a jugé qu'il n'y a aucun élément nouveau susceptible de justifier une modification du jugement du 12 décembre 2005 à l'égard de l'intimée.
4. En l'absence de faits nouveaux, le recourant ne peut remettre en cause le versement des contributions d'entretien dues selon ce jugement, pour le motif que ses enfants auraient déjà acquis une formation appropriée. Il n'y a dès lors pas lieu d'examiner cette question, ni celle de savoir s'il est lié sur ce point par la convention signée le 1er décembre 2005.
5. Vu ce qui précède, le recours est rejeté dans la mesure où il est recevable. Le recourant, qui succombe, s'acquittera des frais judiciaires (art. 66 al. 1 LTF) et versera des dépens aux intimés (art. 68 al. 1 LTF).
Le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 1'500 fr., à payer solidairement aux intimés à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 15 décembre 2008
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: La Greffière:
Raselli Aguet