Faits:
A. A._ et B._, nés respectivement le 19 octobre 1944 et le 20 juin 1949, sont les fils de feu X._, né le 16 juillet 1917. Tous de nationalité suédoise, ils ont vécu en Suède jusqu'en janvier 1958, époque à laquelle la famille s'est installée en Suisse.
B. A une date indéterminée, X._ a obtenu de son épouse, dame X._, une procuration générale lui permettant d'effectuer seul les affaires relatives à la gestion des biens de leurs enfants. Ces derniers disposaient en effet d'une fortune personnelle, composée notamment d'actions reçues de leur grand-père maternel, dont l'administration incombait aux parents.
C. Le 3 mars 1997, A._ et B._ ont déposé plainte pénale contre leur père qu'ils accusaient d'avoir commis des manipulations à son profit dans le cadre de la gestion de leurs biens pendant leur minorité ainsi que par la suite.
Dans ce contexte, par demande du 3 juillet 2000 adressée à la Cour civile du Tribunal cantonal vaudois, ils ont ouvert action contre X._, lui réclamant 6'500'000 fr., avec intérêts à 5 % dès le 3 mars 1997. Le défendeur a conclu au rejet de l'action, en excipant de la prescription.
Le 13 février 2008, l'autorité cantonale a rejeté les conclusions des demandeurs, pour le motif que leurs prétentions étaient prescrites quel que fût leur fondement juridique.
D. Par écriture du 12 janvier 2009, A._ et B._ exercent un recours en matière civile au Tribunal fédéral, concluant principalement à l'annulation de l'arrêt cantonal et au renvoi pour nouvelle instruction et nouveau jugement et, subsidiairement, à la condamnation du défendeur à verser à chacun d'eux 1'009'284 fr., plus intérêts à 5 % dès le 3 juillet 2000.
Parallèlement, ils ont déposé un recours en nullité cantonal.
La présente cause a été suspendue le 14 janvier 2009 par ordonnance de la Présidente de la IIe Cour de droit civil du Tribunal fédéral jusqu'à droit connu sur ce moyen. Elle a été reprise à la suite de l'arrêt du 28 avril 2009 de la Chambre des recours du Tribunal cantonal vaudois rejetant le recours en nullité.
L'intimé a proposé le rejet du recours. L'autorité cantonale s'est référée à ses considérants.
E. X._ est décédé le 16 septembre 2010.
Par ordonnance du Juge instructeur du 6 octobre 2010, la procédure de recours a été suspendue jusqu'à droit connu sur l'acceptation de la succession. Les héritiers ont par ailleurs été invités à produire une attestation officielle précisant leur identité et s'ils ont accepté la succession et, en cas de désignation d'un représentant commun de l'hoirie, leurs procurations en sa faveur ou, le cas échéant, de leur(s) représentant(s) léga (l/aux).
Le 6 mai 2011, Me C._, notaire, a déposé une attestation d'exécuteur testamentaire délivrée par la justice de paix. En cette qualité, il a demandé la reprise anticipée du procès, soutenant que, eu égard aux délais d'acceptation ou de répudiation, le sort de l'instance en cours était important pour la procédure en liquidation de la succession, ainsi que pour l'établissement de l'inventaire civil qui en dépendait. Il était par ailleurs primordial de connaître la composition de la masse successorale, une héritière, à savoir la seconde épouse du défunt, étant sous curatelle.
Par ordonnance du 11 mai 2011, constatant que les documents requis le 6 octobre 2010 n'avaient pas encore été produits, le Juge instructeur a fixé aux mandataires des recourants et du défunt un délai au 14 juin 2011 pour les fournir, à défaut de quoi il serait fait application de l'<ref-law>.
Le 12 mai suivant, le conseil de feu X._ a versé en cause une déclaration de décès ainsi qu'une copie du testament homologué. Agissant par ailleurs pour le compte de l'héritier, D._ (troisième fils de X._), il a déclaré se joindre à la requête de l'exécuteur testamentaire tendant à la reprise anticipée de la procédure.
Par courrier du 14 juin 2011, les recourants ont également remis à la Cour de céans une copie de la déclaration de décès.
Par ordonnance du 19 juillet 2011, le Juge instructeur a considéré que le caractère urgent de la présente procédure n'était pas démontré. Il a fixé au mandataire de feu X._ et à l'exécuteur testamentaire un ultime délai au 20 août 2011 pour qu'ils fournissent les renseignements et pièces requis dans l'ordonnance du 6 octobre 2010, sous la menace de la sanction de l'<ref-law>.
Dans un courrier du 2 août 2011, le conseil de feu X._ a justifié la reprise de la procédure en déposant la décision de la Justice de paix du district de Morges du 14 juin 2010 informant le mandataire du défunt et l'exécuteur testamentaire de la suspension de la procédure de rectification de l'inventaire et du délai d'acceptation de la succession jusqu'à droit connu sur le sort du recours pendant devant le Tribunal fédéral.

Considérant en droit:
1. En vertu de l'<ref-law>, applicable par renvoi de l'<ref-law>, le procès est suspendu de plein droit lors du décès d'une partie (al. 2) et sa reprise a lieu dès que la succession ne peut plus être répudiée ou que la liquidation officielle a été instituée (al. 3, 1ère phrase); la reprise anticipée de procès urgents par le représentant de la succession est toutefois réservée (al. 3, 2ème phrase).
En l'espèce, il résulte de l'instruction que Me C._, notaire, a été désigné comme exécuteur testamentaire selon l'attestation de la Justice de paix du district de Nyon du 30 septembre 2010. Il est en outre établi que, par décision du 14 juin 2010, la Justice de paix du district de Morges a suspendu la procédure de rectification de l'inventaire et du délai d'acceptation de la succession jusqu'à droit connu sur le sort du recours pendant devant la Cour de céans. Dans sa lettre du 6 mai 2011, l'exécuteur testamentaire, qui a notamment la qualité de partie dans les procès non successoraux intentés contre la succession, a par ailleurs demandé la reprise de la procédure, requête à laquelle se sont joints les recourants. Cela étant, il y a lieu d'ordonner la reprise de la cause et de dire que le présent procès se poursuit entre les recourants et l'exécuteur testamentaire dans la succession de feu X._.
2. 2.1 Dirigé contre une décision finale (<ref-law>) rendue en matière civile (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse dépasse le seuil de 30'000 fr. (<ref-law>), le recours est en principe recevable dès lors qu'il a été déposé dans le délai (art. 46 al. 1 let. c et 100 LTF) et en la forme (<ref-law>) prévus par la loi.
2.2 Selon l'<ref-law>, le recours n'est recevable qu'à l'encontre des décisions prises en dernière instance cantonale, ce qui signifie que le recourant doit avoir épuisé toutes les voies de droit cantonales ordinaires ou extraordinaires, pour les griefs qu'il entend soulever devant le Tribunal fédéral (<ref-ruling> consid. 1.3 p. 527).
Le recours a été interjeté avant l'entrée en vigueur, le 1er janvier 2011, du Code de procédure civile fédéral (CPC; RS 272). Dans le canton de Vaud, tout jugement principal d'une autorité judiciaire quelconque (au sujet des décisions attaquables, cf. POUDRET/HALDY/TAPPY, Procédure civile vaudoise, 3e éd., 2002, no 19 ad art. 444) pouvait faire l'objet d'un recours en nullité pour tous les motifs prévus par l'<ref-law>/VD et, en particulier, pour violation des règles essentielles de procédure (ch. 3; <ref-ruling>; Jdt 2001 III p. 128).
En l'espèce, autant que les recourants se plaignent à diverses reprises d'une application arbitraire de l'<ref-law>/VD par la Cour civile vaudoise, leur grief est irrecevable, l'autorité précédente n'ayant pas statué en qualité d'autorité cantonale de dernière instance au sens de l'<ref-law>. Leur critique devait être soulevée - ce que les recourants ont d'ailleurs fait en vain - devant la Chambre des recours du Tribunal cantonal vaudois, dont l'arrêt pouvait ensuite faire l'objet d'un recours au Tribunal fédéral.
3. La question du droit applicable à une cause présentant, comme en l'espèce, un aspect international s'examine à la lumière du droit du for (cf. <ref-ruling> consid. 3.1 p. 229; <ref-ruling> consid. 2.1 p. 327/328). Il convient toutefois d'examiner préalablement le rapport juridique qui fonde les prétentions des recourants. Cette qualification s'opère également selon la loi du for (<ref-ruling> consid. 4 p. 615; <ref-ruling> consid. 2.1 p. 515).
3.1 Les recourants reprochent à leur père des manquements dans la gestion de leurs biens alors qu'ils étaient mineurs. Ils réclament le paiement du capital qui aurait dû leur revenir à leur majorité, auquel s'ajoutent les intérêts courant depuis lors. De tels faits relèvent de la responsabilité du père pour l'administration des biens de l'enfant.
3.2 Les recourants font aussi valoir que leur père aurait, postérieurement à leur majorité, effectué diverses opérations au moyen de leur patrimoine, agissant en qualité de gérant d'affaires.
Ils soutiennent plus particulièrement qu'il a nécessairement poursuivi la gestion de leurs affaires postérieurement à leur majorité, puisqu'il ne leur a pas rendu compte au moment où ils sont devenus majeurs. Cette circonstance ne signifie toutefois pas qu'il ait continué à effectuer des actes de gestion de leur patrimoine. Si les recourants font état de diverses opérations d'achat et de vente d'immeubles, il ne ressort toutefois pas du jugement entrepris qu'ils en aient été les propriétaires, ceux sis à L._ (quartier de E._ et quartier de F._) étant inscrits au nom de leur père. Il a certes été retenu que celui-ci a acquis, en 1956, l'immeuble E._, notamment au moyen d'emprunts prélevés sur la fortune de ses enfants (50'000 couronnes par enfant, soit 150'000 couronnes) et garantis par des hypothèques. Si ces emprunts et la constitution des hypothèques peuvent effectivement être qualifiés d'actes de gestion touchant la sphère juridique des fils, ils ont cependant été accomplis alors que ceux-ci étaient mineurs et ressortissent donc à la responsabilité du père pour l'administration des biens de ses enfants. La revente de cet immeuble en 1969, ne relève pas de la gestion d'affaires en faveur des recourants du simple fait que ceux-ci ont prêté à leur père des fonds garantis par hypothèques pour l'acquisition de cet objet. Enfin, les recourants allèguent qu'ils ont détenu, postérieurement à leur majorité et sur conseil de leur père, des parts dans des sociétés civiles françaises. On ne distingue toutefois, dans ces éléments, aucun acte de gestion fait par leur père sur leurs biens. En définitive, faute d'avoir exposé dans leur recours en quoi celui-là aurait, après leur majorité, géré des biens affectant leur sphère juridique (<ref-law>), il faut admettre que le présent litige ressortit uniquement à la responsabilité des parents pour l'administration des biens de l'enfant pendant la minorité.
4. Cela étant, il s'agit de déterminer le droit applicable à l'action en responsabilité intentée contre le père pour la gestion des biens de ses enfants pendant leur minorité, question qui s'examine, comme il a été dit, à la lumière du droit du for (supra, consid. 3).
4.1 A titre préliminaire, il faut observer que les recourants ont atteint leur majorité à l'âge de 21 ans, conformément au droit suédois. Avant l'entrée en vigueur de la LDIP, l'âge de la majorité et l'exercice des droits civils des étrangers étaient en effet rattachés à la loi nationale des intéressés (<ref-ruling> consid. 1c p. 196). C'est dire qu'en l'espèce, A._ est devenu majeur en 1965 et B._, en 1970, dates qui ne sont d'ailleurs pas discutées.
4.2 Les recourants se plaignent d'une fausse application du droit transitoire de la LDIP, plus particulièrement d'une violation de l'<ref-law>. Contestant que les actes juridiques sur lesquels ils fondent leurs conclusions aient déployé tous leurs effets avant l'entrée en vigueur de la LDIP, ils reprochent à l'autorité cantonale le renvoi à l'ancienne loi fédérale du 25 juin 1891 sur les rapports de droit civil des citoyens établis ou en séjour (LRDC; RO 1890-92 p. 337). Ils sont d'avis que le droit applicable doit être déterminé au regard de la LDIP.
4.2.1 L'<ref-law> dispose que les faits ou actes juridiques qui ont pris naissance et produit leurs effets avant l'entrée en vigueur de la LDIP sont régis par l'ancien droit (al. 1). Les faits ou actes juridiques qui ont pris naissance avant l'entrée en vigueur de cette loi, mais qui continuent de produire des effets juridiques, sont régis par l'ancien droit pour la période antérieure à cette date; ils le sont, quant à leurs effets, par le nouveau droit pour la période postérieure (al. 2 ).
Le premier alinéa de cette norme a trait aux événements qui sont survenus sous l'ancien droit et ont déployé tous leurs effets juridiques avant l'entrée en vigueur de la LDIP. Pour de telles situations, il instaure le principe de non-rétroactivité qui est contenu à l'<ref-law>, ce qui signifie qu'elles relèvent par principe de l'ancienne loi (<ref-ruling> consid. 3.2.1 p. 230 et la référence citée). On considère qu'un fait ou un acte juridique a produit des effets quand tous les éléments déterminants pour la naissance du droit se sont produits (THOMAS GEISER/MONIQUE JAMETTI GREINER, Commentaire bâlois, 2ème éd., 2007, no 9 ad <ref-law>).
Le second alinéa concerne des faits qui se sont produits sous l'ancien droit, mais dont les effets juridiques perdurent sous le nouveau droit (par ex. régime matrimonial, filiation, entretien). Dans de pareils cas, les effets juridiques révolus lors de l'entrée en vigueur de la LDIP sont soumis à l'ancien droit, alors que les effets qui continuent après ce terme sont gouvernés par la nouvelle loi (<ref-ruling> consid. 3.2.1 p. 230 et la référence citée).
4.2.2 En l'espèce, comme les manquements susceptibles d'engager la responsabilité du père et les prétendus dommages consécutifs se sont produits avant le 1er janvier 1989, date de l'entrée en vigueur de la LDIP, l'ancien droit international privé détermine le droit applicable au litige (cf. arrêt 4C.9/2005 du 24 mars 2005 consid. 1.2; 4C.274/1998 du 27 novembre 1998 consid. 2; 4C.231/1997 du 15 septembre 1998 consid. 1a/bb).
4.2.2 En l'espèce, comme les manquements susceptibles d'engager la responsabilité du père et les prétendus dommages consécutifs se sont produits avant le 1er janvier 1989, date de l'entrée en vigueur de la LDIP, l'ancien droit international privé détermine le droit applicable au litige (cf. arrêt 4C.9/2005 du 24 mars 2005 consid. 1.2; 4C.274/1998 du 27 novembre 1998 consid. 2; 4C.231/1997 du 15 septembre 1998 consid. 1a/bb).
4.3 4.3.1 S'agissant du droit applicable, la Cour civile vaudoise a jugé que, pour la période où les demandeurs avaient leur domicile en Suède, les obligations de leurs parents étaient régies par le droit suédois, conformément aux art. 7 al. 2 et 9 al. 1 LRDC. Dès leur établissement en Suisse en février 1958, elles étaient soumises au droit suisse, jusqu'au 3 février 1969 en application de ces mêmes articles et, par la suite, en application de la Convention de La Haye en raison du lieu de résidence habituelle des enfants. Les juges cantonaux ont par ailleurs considéré que, faute pour les parties d'avoir établi la teneur du droit étranger relatif au régime de la prescription conformément à l'<ref-law>/VD, il y avait lieu d'appliquer le droit suisse à cette question en vertu de l'<ref-law>/VD, indépendamment du point de savoir si le droit suisse ou le droit suédois serait effectivement applicable. Ils ont enfin jugé que les prétentions étaient prescrites quel que soit leur fondement (actes illicites ou responsabilité des parents pour la gestion des biens de l'enfant.
4.3.2 Les recourants revendiquent l'application du droit suédois s'agissant de la gestion des biens par leur père jusqu'à leur majorité.
4.3.3 Avant l'entrée en vigueur de la LDIP, le droit applicable à l'administration des biens des enfants par les parents était celui du lieu du domicile du détenteur de l'autorité parentale (art. 9 al. 1 LRDC; cf. <ref-ruling> consid. 2; sur l'application de cette disposition en la matière: W. STAUFFER, Nachtrag 1977 zur Praxis zum NAG, art. 9, p. 34, note 2; FRANK VISCHER, Droit international privé, Traité de droit privé suisse, I/4, p. 131, ch. I).
4.3.4 En l'espèce, les recourants sont devenus majeurs en 1965 et 1970, alors que la famille, et notamment leur père, étaient domiciliés en Suisse. En vertu de l'art. 9 al. 1 LRDC, les effets de la fin de la minorité sur les relations des enfants avec leurs parents, singulièrement leur père et, en particulier, les obligations de ce dernier qui résultaient de l'accession à la majorité de ses enfants doivent être examinés au regard du droit du domicile du détenteur de l'autorité parentale au moment de la fin de la minorité, à savoir du droit suisse, lequel s'applique aussi à la prescription des créances en découlant (cf. <ref-ruling> consid. 2 p. 317).
La question de savoir si, dès le 4 février 1969, le droit applicable est désigné par la Convention de La Haye concernant la compétence des autorités et la loi applicable en matière de protection des mineurs du 5 octobre 1961 entrée en vigueur pour la Suisse à cette date (RS 0.211.231.01; ci-après la Convention de La Haye), peut rester ouverte (sur le champ d'application: BERNARD DUTOIT, Commentaire de la loi fédérale du 18 décembre 1987, 4ème éd., 2005, nos 2-6 ad <ref-law>; IVO SCHWANDER, Commentaire bâlois, nos 1-8 et 11 ad <ref-law>). En effet, en vertu de l'art. 1er de cette convention, les autorités de la résidence habituelle du mineur prennent les mesures prévues par leur loi interne. En l'espèce, vu la résidence habituelle des mineurs en Suisse à la date de l'entrée en vigueur de ce traité, le droit applicable au litige serait le droit suisse. Dans l'hypothèse où le présent litige ne serait pas couvert par la Convention de La Haye, le droit applicable serait, comme il a été dit, celui du domicile du détenteur de l'autorité en vertu de l'art. 9 al. 1 LRDC, ce qui conduirait également à l'application du droit suisse.
4.3.5 Le droit suédois ne trouvant pas application en l'espèce, il n'y a pas lieu d'entrer en matière sur le grief pris d'une appréciation arbitraire de l'<ref-law>/VD (preuve du droit étranger).
4.3.5 Le droit suédois ne trouvant pas application en l'espèce, il n'y a pas lieu d'entrer en matière sur le grief pris d'une appréciation arbitraire de l'<ref-law>/VD (preuve du droit étranger).
4.4 4.4.1 Le droit de la filiation a été modifié par la loi fédérale du 25 juin 1976 modifiant le Code civil, entrée en vigueur le 1er janvier 1978, notamment en ce qui concerne les dispositions touchant aux effets de la filiation. Selon l'<ref-law>, l'établissement et les effets de la filiation sont soumis à cette nouvelle loi dès son entrée en vigueur, le nom de famille et le droit de cité acquis selon l'ancien droit étant conservés. Néanmoins, selon l'art. 1er al. 1 Tit. fin., les effets juridiques de faits antérieurs à l'entrée en vigueur du Code civil continuent à être régis par les dispositions du droit fédéral ou cantonal sous l'empire duquel ces faits se sont passés. Dès lors que les demandeurs ont atteint leur majorité avant cette date, le traitement de la fin de la gestion de leurs biens par leurs parents et les obligations en découlant doivent être examinés selon les anciennes règles en la matière, spécialement l'ancien <ref-law>.
4.4.2 Selon l'ancien droit, avec l'accession à la majorité, la puissance paternelle prenait fin (cf. ancien <ref-law>; RO 1977 I 244-248, 264) et, partant, l'administration des biens de l'enfant par les parents (ancien <ref-law>). Les biens devaient alors être remis suivant compte à l'enfant (ancien <ref-law>; obligation de restitution) et les parents répondaient de cette restitution de la même manière qu'un usufruitier (ancien <ref-law>; obligation de répondre d'un éventuel dommage), soit de la perte et de la dépréciation des biens, à moins qu'ils ne se libèrent en prouvant que le dommage était survenu sans leur faute (<ref-law>).
Aussi longtemps que l'enfant est mineur, les parents ont l'obligation de gérer les biens, de telle sorte que celle de restituer n'existe pas encore. L'exécution de l'obligation de gestion et la restitution s'excluent en effet mutuellement (cf. <ref-ruling> consid. 5b p. 451; <ref-ruling> rendu dans le cadre d'une action en restitution du déposant). Autrement dit, l'obligation de restituer ne prend naissance et n'est exigible qu'à la majorité de l'enfant lorsque la puissance paternelle prend fin et que les biens doivent être remis (cf. CYRIL HEGNAUER, Berner Kommentar, 1964, no 26 ad ancien <ref-law>). L'obligation de répondre de la restitution ne prend quant à elle naissance qu'avec la survenance du dommage (CYRIL HEGNAUER, op. cit., no 27 ad ancien <ref-law> qui mentionne l'opinion contraire de Egger, lequel est d'avis qu'elle est exigible dès la fin de l'autorité parentale). Or, il faut admettre que le dommage résultant d'une non-restitution ou d'une mauvaise gestion qui aurait eu pour effet de diminuer indûment le patrimoine administré qui doit être remis ne peut survenir qu'au moment de la naissance de l'obligation de restitution, soit avec la fin de l'autorité parentale.
Le droit de l'enfant de réclamer la restitution et les dommages-intérêts ayant pris naissance avec son accession à la majorité, date qui a signé la fin de l'autorité parentale, la prescription décennale de l'<ref-law> - applicable en la matière - ne peut commencer à courir qu'à partir de ce moment (cf. CYRIL HEGNAUER, op. cit., no 29 ad ancien <ref-law>, selon lequel la prescription court dès l'exigibilité de la créance).
4.4.3 En l'espèce, la créance des enfants en restitution, respectivement en dommages-intérêts pour non-restitution ou mauvaise gestion a pris naissance à leur majorité, soit en 1965 pour A._ et en 1970 pour B._, lorsque le pouvoir de gestion de leur père sur leurs biens a pris fin, faisant courir le délai de prescription de dix ans de l'<ref-law>. Celle-là est donc intervenue en 1975, respectivement en 1980, faute de tout acte interruptif des demandeurs.
L'éventuelle créance en restitution ou en dommages-intérêts étant prescrite, la demande et, partant, le recours ne peuvent qu'être rejetés; les autres griefs relatifs à l'existence de la créance sont sans pertinence quant à l'issue du litige; il n'y a donc pas lieu de les examiner.
5. Vu ce qui précède, après reprise de la procédure, le recours doit être rejeté dans la mesure où il est recevable. Les recourants, qui succombent, supporteront solidairement entre eux les frais et dépens (art. 66 al. 1 et 5 et 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. La présente procédure de recours (5A_30/2009) est reprise.
2. Le recours est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 15'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4. Une indemnité de 10'000 fr., à verser à l'intimé à titre de dépens, est mise à la charge des recourants, solidairement entre eux.
5. Le présent arrêt est communiqué aux parties, à la Cour civile du Tribunal cantonal du canton de Vaud, avec copie aux héritiers de feu X._.
Lausanne, le 24 février 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Jordan