Faits : A. A._, né le *** 1955, est marié à B._, née le *** 1959. A._ a procédé, dans le cadre du deuxième pilier, à des rachats annuels de 2005 à 2009 auprès de la société C._, à D._, soit notamment 500'000 fr. en 2007, 200'000 fr. en 2008 et 215'000 fr. en 2009. Le 7 juillet 2009, A._ a transféré tous ses avoirs de prévoyance, provenant de différents comptes de libre passage, à la fondation de libre passage E._, dans le canton de Schwyz; son avoir total s'élevait à 2'304'127 fr. Après avoir perçu des indemnités de chômage de mai à octobre 2009, A._ a quitté la Suisse avec son épouse, le 15 novembre 2009, pour s'installer à l'étranger. La fondation de libre passage E._ a versé à l'intéressé, le 26 novembre 2009, le montant de 1'347'016 fr. L'autorité de taxation a refusé de déduire le montant des rachats de prévoyance effectués des revenus imposables des époux A.B._ pour l'impôt fédéral direct (ci-après: IFD) 2007, 2008 et 2009 et pour les impôts cantonal et communal (ci-après: ICC) des mêmes périodes, dans des décisions de taxation du 23 février 2010, respectivement du 5 avril 2013, décisions confirmées sur réclamation le 1er mai 2014 en tant qu'elles concernaient la déductibilité des rachats en cause. B. Par arrêt du 20 octobre 2014, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours des intéressés. C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt du 20 octobre 2014 du Tribunal cantonal et de renvoyer le dossier à l'autorité de taxation pour nouvelles décisions admettant les déductions de prévoyance professionnelle des années fiscales 2007, 2008 et 2009 pour un total de 915'000 fr. en matière d'impôt fédéral direct, d'impôt cantonal et d'impôt communal. Il n'a pas été ordonné d'échange d'écritures.