Faits :
A.
A._, né le *** 1955, est marié à B._, née le *** 1959. A._ a procédé, dans le cadre du deuxième pilier, à des rachats annuels de 2005 à 2009 auprès de la société C._, à D._, soit notamment 500'000 fr. en 2007, 200'000 fr. en 2008 et 215'000 fr. en 2009. Le 7 juillet 2009, A._ a transféré tous ses avoirs de prévoyance, provenant de différents comptes de libre passage, à la fondation de libre passage E._, dans le canton de Schwyz; son avoir total s'élevait à 2'304'127 fr. Après avoir perçu des indemnités de chômage de mai à octobre 2009, A._ a quitté la Suisse avec son épouse, le 15 novembre 2009, pour s'installer à l'étranger. La fondation de libre passage E._ a versé à l'intéressé, le 26 novembre 2009, le montant de 1'347'016 fr.
L'autorité de taxation a refusé de déduire le montant des rachats de prévoyance effectués des revenus imposables des époux A.B._ pour l'impôt fédéral direct (ci-après: IFD) 2007, 2008 et 2009 et pour les impôts cantonal et communal (ci-après: ICC) des mêmes périodes, dans des décisions de taxation du 23 février 2010, respectivement du 5 avril 2013, décisions confirmées sur réclamation le 1er mai 2014 en tant qu'elles concernaient la déductibilité des rachats en cause.
B.
Par arrêt du 20 octobre 2014, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours des intéressés.
C.
Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt du 20 octobre 2014 du Tribunal cantonal et de renvoyer le dossier à l'autorité de taxation pour nouvelles décisions admettant les déductions de prévoyance professionnelle des années fiscales 2007, 2008 et 2009 pour un total de 915'000 fr. en matière d'impôt fédéral direct, d'impôt cantonal et d'impôt communal.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
1.1. Le Tribunal cantonal a rendu un seul arrêt, ce qui est admissible à certaines conditions dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (<ref-ruling> consid. 1.3.1 p. 262). On peut se demander si cet arrêt ne concerne que l'IFD ou s'il a également trait à l'ICC des années en cause. En effet, la rubrique " Objet " de la page de garde ne contient pas de précision à cet égard; la motivation de l'arrêt cite l'art. 33 al. 1 let. d de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11), mais ne fait pas mention des dispositions correspondantes de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) ni de celles de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI; RS/VD 642.11); elle ne fait référence à l'ICC à aucun moment. La page de garde mentionne cependant que les recourants attaquent la décision sur réclamation de l'Administration cantonale des impôts du 1er mai 2014 et le Tribunal cantonal, dans son dispositif, rejette le recours et confirme la décision attaquée. Or, celle-ci précise qu'elle concerne l'IFD et l'ICC, et le recours devant le Tribunal cantonal s'en prenait aux deux catégories d'impôts. Dès lors, et compte tenu du fait qu'il s'agit d'une matière harmonisée (déductibilité des rachats dans le cadre du deuxième pilier), on peut en inférer que l'arrêt s'impose non seulement pour l'IFD mais également pour l'ICC même si le mode de procéder du Tribunal cantonal est peu satisfaisant.
1.2. Les recourants n'ont présenté qu'une seule écriture et pris des conclusions valant pour ces deux catégories d'impôts, ce qui est admissible au regard de l'arrêt unique du Tribunal cantonal (cf. <ref-ruling> consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a néanmoins ouvert deux dossiers, l'un concernant l'IFD (2C_1052/2014), l'autre l'ICC (2C_1051/2014). Comme l'état de fait et la question juridique sont identiques, les deux causes seront jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
1.3. Le recours est dirigé contre une décision finale (cf. <ref-law>) rendue dans une cause de droit public (cf. <ref-law>) par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (cf. art. 100 al. 1 et 46 al. 1 let. a LTF) par les contribuables destinataires de l'arrêt attaqué, qui ont un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>), le recours est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. <ref-law>, <ref-law>; <ref-ruling> consid. 1.3 p. 188 s.).
2.
D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé, et de son application par les instances cantonales, aux dispositions de la LHID. Conformément à l'<ref-law>, et en dérogation à l'<ref-law>, le Tribunal fédéral ne connaît de la violation des droits fondamentaux - notion qui englobe les droits constitutionnels (<ref-ruling> consid. 2 p. 638) - que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 232 et les références citée; <ref-ruling> consid. 3 p. 237; <ref-ruling> consid. 2.1 p. 334).
I. Impôt fédéral direct
3.
Selon l'art. 33 al. 1 let. d LIFD, les primes, cotisations et montants légaux, statutaires ou réglementaires versés à l'assurance-vieillesse et survivants, à l'assurance-invalidité et à des institutions de la prévoyance professionnelle sont déduits du revenu.
L'art. 79b al. 3 1ère phrase de la loi fédérale du 25 juin 1982 sur la prévoyance professionnelle vieillesse, survivants et invalidité (RS 831.40; LPP), disposition en vigueur depuis le 1er janvier 2006, prévoit que les prestations résultant d'un rachat ne peuvent être versées sous forme de capital par les institutions de prévoyance avant l'échéance d'un délai de trois ans. D'après la jurisprudence relative à cette norme, tout versement d'une prestation en capital effectué dans les trois ans suivant un rachat doit, en principe, être considéré comme abusif et, partant, ce rachat ne saurait être déduit du revenu imposable (arrêt de principe 2C_658/2009 du 12 mars 2010 consid. 3.3, in StR 65 2010 860 = StE 2010 B 27.1 43; cf. aussi Archives de droit fiscal 79 p. 700 = RF 66/2011 p. 341, 2C_614/2010 consid. 3), ceci même dans les cas où l'institution de prévoyance auprès de laquelle ont été effectués les rachats de cotisations par l'assuré n'est pas la même que celle qui a versé les prestations (arrêt 2C_488/2014 du 15 juin 2015 consid. 2 et 3, in StR 70/2015 p. 345).
3.1. En l'espèce, les recourants ne contestent pas que le délai de trois ans n'a pas été respecté dans le cadre des rachats versés en 2007 (500'000 fr.), en 2008 (200'000 fr.) et en 2009 (215'000 fr.). Ils jugent néanmoins que la " lecture fiscale " de l'<ref-law> devrait céder le pas devant celle de l'Office fédéral des assurances sociales qui permettrait la déduction de rachats de façon plus large. Ils demandent ainsi un changement de la jurisprudence, sans toutefois amener des motifs sérieux et convaincants propres à la remettre en cause (sur les conditions d'un changement de jurisprudence, cf. <ref-ruling> consid. 6.1 p. 313; <ref-ruling> consid. 2.2.2 p. 273 s.). En effet, les recourants en appellent à la publication de cet office du 28 novembre 2005 (cf. Bulletin de la prévoyance professionnelle n° 88 du 28 novembre 2005 [n° 511], cf. aussi n° 93 du 11 juillet 2006 [n° 540] et n° 110 du 15 janvier 2009 [n° 678]). Or, celle-ci est antérieure à la jurisprudence en cause qui tient compte de cet avis et a donc été prise en connaissance de cause (arrêt 2C_658/2009 susmentionné consid. 3).
Selon les recourants, l'arrêt 2C_658/2009 permet des exceptions à la règle des trois ans; ils prétendent qu'ils ignoraient (au contraire des contribuables qui savent qu'ils vont partir à la retraite) que A._ se trouverait au chômage en avril 2009 et devrait quitter la Suisse par la suite, n'ayant pas trouvé de nouvel emploi. S'il est vrai que cet arrêt n'exclut pas que, dans certains cas exceptionnels, des rachats effectués dans la période des trois ans puissent être déduits du revenu imposable, il n'est pas nécessaire d'examiner si tel pourrait être le cas d'un départ à l'étranger imprévisible et d'un retrait de capital inéluctable. Les recourants ne démontrent en effet pas qu'ils seraient dans un tel cas. Or, en matière fiscale, il appartient au contribuable de prouver les faits qui diminuent la dette ou la suppriment (<ref-ruling> consid. 3.5 p. 252; <ref-ruling> consid. 4.3 p. 158).
3.2. Les recourants se prévalent du principe d'égalité dans l'illégalité (cf. sur cette notion et ses conditions <ref-ruling> consid. 5.6 p. 78 et les arrêts cités); ils estiment que le refus de déduire les montants en cause des revenus imposables des années en cause viole le principe d'égalité, car certains cantons seraient plus souples en la matière et auraient introduit une période transitoire dans le cadre de l'application de l'arrêt 2C_658/2009 susmentionné.
Une des conditions pour l'application du principe d'égalité dans l'illégalité, à tout le moins, n'est pas réalisée. En effet, ce principe nécessite la volonté de l'autorité de perpétuer une pratique illégale. Or, l'instauration de la période transitoire a précisément pour but ultime de se conformer à la jurisprudence en cause. Ce motif suffit déjà à rejeter le grief de violation du principe d'égalité.
3.3. Les recourants se plaignent encore du fait que l'arrêt attaqué serait " contraire à la Constitution ". Celui-ci irait à l'encontre de la sécurité juridique car les recourants ne pouvaient s'attendre à voir la déduction des rachats concernés être refusée.
Outre qu'il est douteux qu'un tel grief réponde aux exigences de motivation accrue dès lors que sont invoqués des principes consti-tutionnels (cf. consid. 2), on ne voit pas en quoi une décision conforme à la jurisprudence du Tribunal fédéral et émanant d'un canton qui, avant l'arrêt de principe du Tribunal fédéral, examinait déjà les rachats litigieux sous l'angle de l'évasion fiscale serait contraire à la sécurité du droit. De plus, à la demande du fisc, A._ a signé, les 1er mai 2008 et le 19 avril 2009, des déclarations en vertu desquelles il s'engageait à ne pas demander le versement en espèces de sa prestation de libre passage dans un délai de trois ans depuis le rachat. S'il ne comprenait pas le document qu'il signait ou si celui-ci était trop vague, comme l'intéressé le prétend, il lui incombait de se renseigner plus avant sur sa signification.
3.4. Le grief de violation de l'art. 14 CEDH - dont les garanties n'ont pas de portée indépendante (<ref-ruling> consid. 3 p. 260; <ref-ruling> consid. 4.2 p. 146) - est irrecevable puisque les recourants n'invoquent la violation d'aucune autre garantie conventionnelle. En outre, le grief ne respecte pas l'obligation de motivation accrue en la matière (cf. consid. 2).
3.5. Compte tenu de ce qui précède, les rachats effectués en 2007 (500'000 fr.), en 2008 (200'000 fr.) et en 2009 (215'000 fr.) ne sont pas déductibles du revenu imposable pour l'IFD des périodes fiscales correspondantes et le recours est rejeté dans cette mesure.
II. Impôts cantonal et communal
4.
Les art. 9 al. 2 let. d LHID et 37 al. 1 let. d LI ont la même teneur que l'art. 33 al. 1 let. d LIFD et disposent donc que les primes, cotisations et montants légaux, statutaires ou réglementaires versés notamment à des institutions de la prévoyance professionnelle peuvent être déduits du revenu imposable. Par ailleurs, l'<ref-law> est une disposition de droit fédéral qui s'impose de la même façon pour les deux catégories d'impôts. En conséquence, les considérations développées ci-dessus pour l'impôt fédéral direct s'appliquent également aux impôts cantonal et communal.
Partant, les rachats effectués en 2007 (500'000 fr.), en 2008 (200'000 fr.) et en 2009 (215'000 fr.) ne sont pas déductibles du revenu imposable pour l'ICC des périodes fiscales correspondantes et le recours est rejeté dans cette mesure.
5.
On relèvera encore que, bien que le recours mentionne l'existence d'une éventuelle double imposition, il ne contient pas de grief à cet égard.
6.
Le recours est rejeté pour l'IFD et l'ICC des périodes fiscales 2007, 2008 et 2009.
Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (cf. art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_1051/2014 et 2C_1052/2014 sont jointes.
2.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal.
4.
Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge des recourants solidairement entre eux.
5.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration cantonale des impôts du canton de Vaud, à la Steuerverwaltung des Kantons Schwyz, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 30 juin 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Jolidon