Faits : A. Par jugement du 15 avril 2014, le Tribunal correctionnel de l'arrondissement de La Côte a constaté que X._ s'est rendu coupable d'escroquerie par métier, faux dans les titres et blanchiment d'argent qualifié, l'a condamné à une peine privative de liberté de quatre ans, sous déduction de 461 jours de détention avant jugement, l'a condamné à verser à A._ la somme de 1'000'000 fr. avec intérêt à 5% l'an dès le 1 er janvier 2008, sous déduction de 57'222 fr. 78 confisqués et restitués à la partie plaignante et de 50'000 fr. versés à celle-ci par le conseil du prévenu le 27 mars 2014, donné acte de ses réserves civiles à A._ pour le surplus et lui a alloué 100'000 fr. pour les dépenses obligatoires occasionnées par la procédure. B. Par jugement du 24 octobre 2014, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._ et partiellement admis l'appel joint de A._ en ce sens qu'elle lui a alloué 2'990'453 fr. 31 avec intérêt à 5% l'an dès le 1 er avril 2010, sous déduction de 57'222 fr. 78 et de 50'000 francs. Elle a prononcé une peine privative de liberté de quatre ans à l'encontre de X._, sous déduction de 461 jours de détention avant jugement et de 5 jours au titre de réparation des conditions de détention illicite. En bref, il en ressort les faits suivants. X._, ressortissant urugayen né en 1959, a été entre 1997 et 2013 fonctionnaire auprès de l'Organisation B._, à Genève. Durant son emploi, il était assuré avec ses proches auprès de A._, selon le système du tiers garant. Entre 2003 et 2012, il a réclamé et obtenu le remboursement de frais médicaux fictifs sur la base de faux documents (factures, ordonnances, rapports médicaux) qu'il avait lui-même confectionnés. Sur 3'123'449 fr. 54 réclamés, il a obtenu 2'990'453 fr. 31, la différence s'expliquant par le fait que les conditions d'assurance n'étaient pas remplies. Son activité s'est intensifiée au fil des ans; les montants (arrondis) réclamés chaque année évoluant ainsi : 60'000 fr. en 2003, 78'000 fr. en 2004, 117'000 fr. en 2005, 120'000 fr. en 2006, 149'000 fr. en 2007, 308'000 fr. en 2008, 485'000 fr. en 2009, 740'000 fr. en 2010, 520'000 fr. en 2011 et 553'000 fr. en 2012. Entre 2010 et 2012, il a dissimulé l'argent obtenu en le mélangeant d'abord à ses fonds propres et à des fonds provenant de deux crédits sur un même compte bancaire, puis en transférant le total sur des comptes en Uruguay et en finançant l'acquisition de plusieurs biens immobiliers à Montevideo. C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, concluant, avec suite de dépens, à sa réforme en ce sens qu'il est condamné à une peine que justice dira, que le chiffre du dispositif concernant les prétentions civiles est annulé, qu'il y a lieu de déduire des réserves civiles accordées à A._ les sommes de 50'000 et 57'222 fr. 78 et que les dépens de première instance en faveur de A._ sont ramenés à 80'000 francs. Subsidiairement, il conclut à l'annulation. Par ailleurs, il sollicite l'assistance judiciaire.