Faits : Faits : A. A.X._ et B.X._ sont domiciliés à C._ dans le canton du Jura. B.X._ a exploité la raison individuelle du même nom, active dans la construction de toitures, jusqu'en 2003. Dès 1990, l'intéressée a été considérée comme une commerçante professionnelle d'immeubles. Après avoir procédé à un contrôle des comptes de la raison individuelle susmentionnée, le Service des contributions du canton du Jura (ci-après: le Service des contributions) a ouvert, le 12 janvier 1999, une procédure en soustraction pour les impôts cantonal et communal des périodes fiscales "1989 et suivantes" et des périodes fiscales "1993/1994 et suivantes" en ce qui concerne l'impôt fédéral direct. Après avoir procédé à un contrôle des comptes de la raison individuelle susmentionnée, le Service des contributions du canton du Jura (ci-après: le Service des contributions) a ouvert, le 12 janvier 1999, une procédure en soustraction pour les impôts cantonal et communal des périodes fiscales "1989 et suivantes" et des périodes fiscales "1993/1994 et suivantes" en ce qui concerne l'impôt fédéral direct. B. Le 16 mai 2003, l'autorité de taxation a rendu cinq décisions fixant les rappels d'impôt et les amendes y relatives. Les reprises concernaient, notamment, des dessous-de-table touchés lors de ventes immobilières et des avoirs bancaires qui n'avaient pas été déclarés. La première décision, rendue à l'égard de B.X._ pour la période fiscale 1989, fixait le rappel et l'amende - arrêtée à 1,2 fois le montant du rappel -, au niveau cantonal et communal, à 12'035 fr. 45 y compris les intérêts moratoires. La deuxième décision concernait A.X._: elle portait sur les impôts cantonal et communal des périodes fiscales 1989 à 1995. Les rappels d'impôt cantonal et communal et les amendes (fixées à 1,2 fois le rappel) s'élevaient, au total, à 645 fr. 05 pour 1989, 722 fr. 35 pour 1990, 65'839 fr. 85 pour 1991, 3'992 fr. 50 pour 1992, 4'138 fr. 85 pour 1993, 3'042 fr. 80 pour 1994 et 4'213 fr. 80 pour 1995. Des reprises ont également été opérées pour l'impôt fédéral direct: une troisième décision, notifiée à A.X._, fixait le rappel d'impôt (192 fr. par année) et l'amende (230 fr. 40 par année) à 844 fr. 80 pour les deux années de la période fiscale 1993-1994 et à 849 fr. 20 (rappel: 193 fr. par année; amende: 231 fr. par année) pour les deux années de la période fiscale 1995-1996. Les décisions concernant les périodes fiscales litigieuses en l'espèce, soit les périodes fiscales 1996 et 1997 au niveau cantonal et communal et la période fiscale 1997/1998 pour l'impôt fédéral direct, adressées à A.X._, portaient sur une tentative de soustraction relative à des intérêts et des rendements. En outre, une "correction du chiffre d'affaire selon un rapport d'expertise" a également été effectuée. Le revenu imposable pour les impôts cantonal et communal a passé de 63'578 fr. à 93'500 fr. en 1996 et de 28'100 fr. à 51'500 fr. en 1997. Quant à la fortune imposable, elle s'élevait, une fois les reprises effectuées, à 516'100 fr. en 1996 au lieu de 377'296 fr. et à 939'000 fr. en 1997 au lieu de 767'000 fr. Le rappel (3'906 fr. 10 pour 1996 et 2'817 fr. 35 pour 1997 au niveau cantonal) et l'amende (3'124 fr. 85 pour 1996 et 2'253 fr. 85 pour 1997 au niveau cantonal) relatifs aux impôts cantonal et communal se sont élevés, pour les périodes fiscales 1996 et 1997, respectivement à 6'760 fr. 55 et à 5'072 fr. 15 (apparemment à la suite d'une erreur dans les additions, ces derniers montants comprennent uniquement l'amende). La dernière décision concernait l'impôt fédéral direct de la période fiscale 1997-1998: le revenu imposable avant la reprise était de 28'100 fr. et de 49'800 après celle-ci. Elle fixait le rappel à 341 fr. pour 1997 et au même montant pour 1998. Les amendes ont été fixées à 409 fr. 20 pour chaque année. Toutefois, le total dû était de 545 fr. 60 pour les deux années, la décision omettant apparemment le montant du rappel dans le total final à acquitter. La dernière décision concernait l'impôt fédéral direct de la période fiscale 1997-1998: le revenu imposable avant la reprise était de 28'100 fr. et de 49'800 après celle-ci. Elle fixait le rappel à 341 fr. pour 1997 et au même montant pour 1998. Les amendes ont été fixées à 409 fr. 20 pour chaque année. Toutefois, le total dû était de 545 fr. 60 pour les deux années, la décision omettant apparemment le montant du rappel dans le total final à acquitter. C. Par décision du 14 juillet 2003, le Service des contributions a rejeté la réclamation des recourants. Ils y demandaient, notamment, la prise en compte d'une perte de 163'743 fr. 65, qu'ils auraient supportée lors des exercices 1995 et 1996 dans le cadre de la construction d'immeubles à D._ (130'416 fr. 10 pour des "travaux de finition, intérêts et frais auprès d'une banque" et 33'327 fr. 55 payés à la même banque en qualité de caution, le débiteur ayant fait faillite). Subie lors des périodes de calcul 1995 et 1996, cette perte devait être déduite lors des taxations de la période fiscale 1997/1998 pour l'impôt fédéral direct et des périodes fiscales 1996 et 1997 quant aux impôts cantonal et communal. La Commission cantonale des recours du canton du Jura a rejeté, par décision du 3 février 2005, le recours des intéressés. Par arrêt du 6 avril 2006, le Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) a déclaré irrecevable le recours des époux X._ tant en ce qui concerne l'impôt fédéral direct 1997-1998 que les impôts cantonal et communal des périodes fiscales 1996 et 1997. Il a estimé qu'il n'y avait pas lieu de tenir compte, dans une procédure de rappel d'impôt, d'un élément en faveur du contribuable, étranger aux motifs du rappel, soit, en l'occurrence, de la perte et il n'est dès lors pas entré en matière. Par arrêt du 6 avril 2006, le Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) a déclaré irrecevable le recours des époux X._ tant en ce qui concerne l'impôt fédéral direct 1997-1998 que les impôts cantonal et communal des périodes fiscales 1996 et 1997. Il a estimé qu'il n'y avait pas lieu de tenir compte, dans une procédure de rappel d'impôt, d'un élément en faveur du contribuable, étranger aux motifs du rappel, soit, en l'occurrence, de la perte et il n'est dès lors pas entré en matière. D. Agissant par la voie du recours de droit administratif, les époux X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 6 avril 2006 du Tribunal cantonal, de dire que la perte commerciale de 163'743 fr. 65, relative à la construction de maisons familiales, doit être prise en considération "à décharge" dans la procédure en soustraction d'impôt ouverte à leur encontre et de renvoyer le dossier à l'autorité de taxation pour une nouvelle décision dans le sens des considérants. Le Tribunal cantonal persiste dans les considérants et le dispositif de son arrêt et conclut au rejet du recours. Le Service des contributions et l'Administration fédérale des contributions concluent, sous suite de frais, à l'irrecevabilité du recours, subsidiairement à son rejet dans la mesure où il est recevable.