Faits: A. A.X._ et B.X._ sont domiciliés en France depuis 1970 et enseignent dans le canton de Genève. Ils ont été imposés à la source jusqu'en 1984. Après avoir acquis un bien immobilier à Y._, ils ont choisi d'être assujettis à l'impôt cantonal et communal (ICC) ainsi qu'à l'impôt fédéral direct (IFD) en qualité de personnes physiques avec domicile hors du canton. Le 28 mars 2003, l'Administration fiscale cantonale genevoise (ci-après: l'Administration fiscale) a notifié aux époux X._ un bordereau ICC 2001 et un bordereau IFD 2001, pour la période d'im- position allant du 1er janvier au 31 décembre 2001. L'ICC était de 37'229 fr. pour un revenu imposable de 183'764 fr. et l'IFD de 11'262 fr. pour un revenu imposable de 177'600 fr. Le 21 juillet 2003, l'Administration fiscale a informé par écrit les époux X._ qu'il avait été procédé à la rectification de l'impôt sur leur revenu, qui serait perçu à la source pour la période du 1er janvier au 31 décembre 2001, en vertu de la législation sur l'impôt à la source. Le revenu imposable était de 231'500 fr. et l'impôt dû se montait à 56'254,50 fr. Ce courrier attirait l'attention des contribuables sur les voie et délai de réclamation, ainsi que sur la forme et le contenu de cette dernière. Le 30 octobre 2003, l'Administration fiscale a notifié aux intéressés un bordereau rectificatif ICC 2001 ne portant plus que sur l'imposition de la fortune et s'élevant à 143,50 fr. Le 13 juillet 2004, l'Administration fiscale a invité A.X._ à une entrevue destinée à éclaircir sa situation fiscale. L'intéressé n'y a pas donné suite. Le 28 juillet 2004, l'Administration fiscale a confirmé au couple X._ que, dès l'exercice fiscal 2001, il avait été imposé à la source pour ses revenus de l'activité professionnelle. Le 20 septembre 2005, dans un courrier concernant la production de pièces, A.X._ a réitéré son étonnement et son désaccord quant à l'effet rétroactif de son imposition à la source pour les exercices 2001 à 2003 et demandé une entrevue pour éclaircir sa situation. Il précisait qu'il n'avait pu se rendre à l'entretien du 21 juillet 2004 ni excuser son absence, car il était en voyage à cette période. Le 12 octobre 2005, l'Administration fiscale a indiqué qu'elle considérait le courrier du 20 septembre 2005 comme une réclamation contre la rectification d'imposition pour l'année 2001. Le 14 novembre 2005, elle a maintenu sa décision du 21 juillet 2003, considérant la requête comme tardive. B. Par décision du 27 août 2007, la Commission cantonale de recours en matière d'impôts du canton de Genève (ci-après: la Commission de recours) a rejeté le recours des époux X._ contre la décision précitée du 14 novembre 2005. Elle a estimé en substance que la réclamation était tardive et que les intéressés n'avaient invoqué aucun motif sérieux qui les aurait empêchés d'agir en temps utile. La voie de la révision était par ailleurs exclue, car les arguments soulevés auraient déjà pu l'être au cours de la procédure de réclamation. C. Par arrêt du 11 mars 2008, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a déclaré irrecevable le recours interjeté par les époux X._ contre la décision de la Commission de recours du 27 août 2007. Les juges cantonaux ont estimé en substance qu'ils ne pouvaient entrer en matière sur les conclusions prises par les intéressés au sujet des bordereaux ICC et IFD 2001 du 28 mars 2003 et des bordereaux rectificatifs notifiés le 30 octobre 2003, car elles n'avaient pas fait l'objet de la décision attaquée, ni de la décision de l'Administration fiscale du 14 novembre 2005. En outre, les conclusions tendant à l'annulation de la décision de la Commission de recours du 27 août 2007 étaient aussi irrecevables, car elles ne se fondaient pas sur une motivation adéquate au sens de l'art. 65 al. 2 de la loi genevoise du 12 septembre 1985 sur la procédure administrative (LPA; RSG E 5 10); en effet, les intéressés se contentaient de contester le droit pour l'Administration fiscale de modifier leurs bordereaux ICC et IFD 2001, sans que leur argumentation permît de comprendre quels griefs ils adressaient à la Commission de recours qui avait statué uniquement sur la question de la tardiveté de la réclamation. D. Le 29 avril 2008, A.X._ et B.X._ ont déposé un recours en matière de droit public contre l'arrêt rendu le 11 mars 2008 par le Tribunal administratif. Principalement, ils demandent au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt attaqué, de dire que les bordereaux ICC et IFD 2001 datés du 28 mars 2003 sont entrés en force, de leur donner acte de ce qu'ils se sont totalement acquittés de ces bordereaux, de dire que les bordereaux rectificatifs ICC et IFD 2001 datés du 30 octobre 2003 sont nuls et de constater que le courrier de l'Administration fiscale du 21 juillet 2003 ne saurait modifier les bordereaux du 28 mars 2003, faute de respecter les conditions du rappel d'impôt. Subsidiairement, ils concluent à l'annulation de l'arrêt entrepris et au renvoi du dossier à la juridiction cantonale pour décision sur le fond. Ils requièrent aussi que l'état de fait de l'arrêt attaqué soit rectifié et complété. Le Tribunal administratif n'a pas formulé d'observations sur le recours. L'Administration fiscale conclut, sous suite de frais, au rejet du recours et à l'irrecevabilité des conclusions nouvelles. L'Administration fédérale des contributions propose le rejet du recours dans la mesure de sa recevabilité, avec suite de frais.