Faits : A. A._et B._ sont les parents de C._, né en 2000, qui présente un trouble du spectre autistique (TSA). De mars 2004 et jusqu'à l'année scolaire 2007/2008, C._ a été admis au sein de la Fondation pour l'éducation des enfants autistes (FEDEA), à Morges. Durant les années scolaires 2008/2009 et 2009/2010, il a été pris en charge par l'Association objectif vaincre l'autisme (AOVA) à Gland. Dès l'année scolaire 2010/2011, il a été admis au sein de l'école pour enfants atteints d'autisme (EEAA), structure publique à charge de l'Etat. En dehors des horaires scolaires, il pratique à domicile la méthode " Applied behaviour analysis " (ABA). Depuis le 1er avril 2004, C._ a perçu une allocation pour impotent (API), au sens de l'art. 42 al. 1 de la loi fédérale du 19 juin 1959 sur l'assurance-invalidité (LAI; RS 831.20). Jusqu'au 30 juin 2004, cette allocation a été versée au titre d'une impotence faible, puis d'impotence moyenne (API) dès le 1er juillet 2004. Depuis cette date, C._ perçoit en outre un supplément pour soins intenses (SSI), conformément à l'art. 42ter al. 3 LAI, augmenté dès le 1er février 2007, pour tenir compte d'un surcroît de soins de 8 heures par jour. Au total, les montants suivants ont été versés en sa faveur: 10'474 fr. en 2004, 18'396 fr. en 2005, 26'427 fr. en 2006, 28'125 fr. en 2007, 29'601 fr. 50 en 2008, 30'514 fr. en 2009, ainsi qu'en 2010. A._ et B._ ont déposé des réclamations contre les décisions de taxation pour les années 2004 à 2010, leur refusant toute déduction au titre de frais d'invalidité de leur enfant pour les deux premières années (2004 et 2005) et en limitant la part déductible pour les années 2006 et suivantes. B. Par décision sur réclamation du 3 juin 2014, l'Administration fiscale du canton de Vaud a partiellement admis les réclamations en matière d'impôt cantonal et communal et d'impôt fédéral direct : pour la période 2004, elle a reconnu un total de frais (FEDEA et ABA) de 43'480 fr., dont elle a retranché les allocations (API et SSI) perçues pour 2004 de 10'474 fr. ainsi que la franchise de 5% du revenu net, soit 16'252 fr., admettant ainsi une déduction sur le revenu imposable 2004 pour frais d'invalidité de 16'754 fr.; pour les périodes 2005 à 2010, elle a admis la déduction de la totalité des montants revendiqués par les époux, sous réserve des allocations (API et SSI), réduisant ainsi le montant de la déduction pour les périodes fiscales 2005 à 2010; elle a fixé les éléments imposables des époux de la façon suivante: Périodes 2004 2005 2006 2007 2008 2009 2010 Rev. ICC 308000 268800 341500 394000 341000 294000 256400 Fort. ICC 281000 84000 152000 133000 121000 253000 335000 Rev. IFD 302100 265700 337500 390700 336000 287800 248900 A._ et B._ ont recouru contre cette dernière décision auprès du Tribunal cantonal du canton de Vaud. Principalement, ils ont demandé sa réforme en ce sens que les frais de handicap soient admis sans imputation des API et SSI perçus par leur enfant; subsidiairement, ils concluent à ce que seule une quote-part des API et des SSI versés en faveur de leur enfant soit imputée, " dans la mesure où ces frais de handicap invoqués comprendraient des prestations liées à l'impotence et/ou à des soins intenses ". C. Par arrêt du 14 avril 2015, le Tribunal cantonal du canton de Vaud a rejeté le recours et confirmé la décision sur réclamation rendue le 3 juin 2014 par l'Administration des impôts du canton de Vaud. Jusqu'au 31 décembre 2004 y compris, aucune base légale ne permettait d'admettre des déductions supplémentaires au titre de frais d'invalidité dans la mesure où elles excédaient la franchise de 5% du revenu imposable. Pour les périodes fiscales 2005 à 2010, l'allocation d'impotence, conformément à l'art. 42 al. 1 LAI, ainsi que le supplément pour soins intenses au sens de l'art. 42ter al. 3 LAI, étaient en lien de causalité directe avec le handicap de l'enfant, de sorte qu'ils avaient pour effet d'alléger la charge globale que les parents consacraient à l'assistance quotidienne de leur fils, en diminuant les frais qu'ils supportaient de manière effective. L'objection des parents, selon laquelle l'allocation pour impotent servait à couvrir en très grande partie les prestations effectuées en faveur de leur enfant en-dehors des heures de scolarisation, soit des prestations qu'ils assuraient eux-mêmes pour leur fils, devait être écartée, les textes de loi ne permettant pas d'opérer de distinction parmi l'ensemble des frais découlant du handicap de l'enfant en fonction de leur destination. D. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt rendu le 14 avril 2015 par le Tribunal cantonal du canton de Vaud en ce sens que l'intégralité des frais de handicap est déduite de l'assiette de l'impôt fédéral direct ainsi que de l'assiette de l'impôt cantonal et communal pour les périodes fiscales 2004 à 2010. Ils se plaignent de la violation du droit fédéral. Par ordonnance du 4 juin 2015, le Président de la IIe Cour de droit public a accordé l'effet suspensif. Le 18 juin 2015, l'Administration fiscale cantonale a déposé ses observations. Elle relève que le recours est pour partie sans objet s'agissant de la période 2004, puisque l'arrêt attaqué confirme la décision sur réclamation du 3 juin 2014, qui a reconnu des dépenses pour handicap de 43'480 fr. et admis une déduction de 16'754 fr.; selon elle, reste ainsi seule litigieuse la question de l'imputation des API et SSI sur les frais déductibles liés au handicap pour toutes les périodes en cause. Elle conclut au rejet du recours. A._ et B._ ont déposé leurs contre-observations le 31 août 2015.