Faits: A. Les époux X._ sont domiciliés dans le canton du Jura. Le 11 mai 2007, le Service des contributions de ce canton (ci-après: le Service des contributions) leur a prétendument expédié sous pli simple deux avis de taxation fixant le revenu et la fortune imposables pour l'impôt fédéral direct et les impôts cantonaux et communaux des périodes fiscales 2004, respectivement 2005, ainsi que deux enveloppes contenant les bordereaux d'impôts y relatifs (deux documents par enveloppe). Les contribuables ont déclaré n'avoir jamais reçu ces documents. B. Le 6 juillet 2007, le Service des contributions a envoyé aux recourants un rappel portant sur les impôts cantonaux et communaux de la période fiscale 2004 pour un montant de 19'414 fr. 80 et un pour la période fiscale 2005 de 21'502 fr. 45, ainsi que des rappels relatifs à l'impôt fédéral direct des périodes fiscales 2004 et 2005 s'élevant à 2'281 fr., respectivement 3'282 fr. Le 10 août 2007, en l'absence de paiement des recourants, ledit Service leur a expédié, sous pli recommandé, quatre sommations (impôt fédéral direct et impôts cantonaux et communaux des périodes fiscales 2004, respectivement 2005). Les contribuables ne contestent pas avoir reçu ces rappels et les sommations. Les contribuables n'ayant pas donné suite aux injonctions de paiement, le Service cantonal des contributions leur a fait notifier deux commandements de payer le 21 septembre 2007, soit un pour l'impôt fédéral direct 2004 et un pour l'impôt fédéral direct 2005. Deux autres commandements de payer pour les impôts cantonaux et communaux 2004, respectivement 2005, leur ont été notifiés le 26 septembre 2007. Les recourants ont formé opposition à l'encontre de ces commandements de payer. Le 26 septembre 2007, ils ont également envoyé une réclamation au Service des contributions. Par décision du 2 octobre 2007, celui-ci l'a déclarée tardive et, partant, irrecevable. Le 1er septembre 2008, la Commission cantonale des recours du canton du Jura (ci-après: la Commission cantonale des recours) a admis le recours de A.X._ et B.X._ et a renvoyé le dossier au Service des contributions pour qu'il statue sur la réclamation formée par les recourants contre les taxations relatives à l'impôt fédéral direct et aux impôts cantonaux et communaux des périodes fiscales 2004 et 2005. Le 7 octobre 2008, le Service des contributions a recouru auprès de la Chambre administrative du Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) contre cette décision. Par arrêt du 6 avril 2009, celle-ci a admis le recours, annulé la décision du 1er septembre 2008 de la Commission cantonale des recours et constaté que la décision d'irrecevabilité du Service des contributions du 2 octobre 2007 était entrée en force. C. A.X._ et B.X._ déposent un recours en matière de droit public contre ce jugement cantonal. Ils demandent, sous suite de frais et dépens, d'admettre le recours, d'annuler l'arrêt du 6 avril 2009 de la Chambre administrative du Tribunal cantonal, de "constater que la décision de la CCR du 1er septembre 2008 relative aux années fiscales 2004 et 2005 (IFD et impôt d'Etat) est entrée en force et ordonné au Service des contributions de statuer sur la réclamation formée par les recourants contre la taxation pour les années fiscales 2004 et 2005". Enfin, ils requièrent le renvoi du dossier à la Chambre administrative pour statuer sur le sort des frais et dépens de la procédure cantonale. Le Service des contributions conclut au rejet du recours sous suite de frais. La Commission cantonale des recours a renoncé à déposer des observations. Le Tribunal cantonal et l'Administration fédérale des contributions demandent la confirmation de l'arrêt attaqué et le rejet du recours.