Faits : A. AX._ et BX._ (ci-après: les contribuables ou les recourants) étaient copropriétaires d'un appartement de huit pièces sis à Y._, qu'ils ont habité avec leurs trois enfants mineurs durant toute l'année 2002. Le 24 septembre 2002, les époux X._ ont acquis un immeuble, à Z._, dont la valeur fiscale est de 2'600'000 fr. Après y avoir fait effectuer des travaux, ils y ont emménagé le 3 mars 2003. Dans leur déclaration fiscale 2002, les époux X._ ont fait figurer l'immeuble de Z._ pour un montant de 2'600'000 fr. Pour l'impôt cantonal et communal, ils ont fait valoir en déduction au titre de charges et frais d'entretien relatifs à cet immeuble une prime d'assurance incendie bâtiment, dégâts d'eau et bris de glace de 3'259 fr. 10 ainsi que des "frais de formulaire" de 35 fr., soit 3'294 fr. au total. Ils n'ont en revanche rien indiqué sous la rubrique "valeur locative". B. Dans sa taxation du 9 février 2004, l'Administration fiscale du canton de Genève (ci-après: l'Administration cantonale) a fixé le revenu imposable des époux X._ à 368'889 fr. Elle n'a pas admis en déduction le montant de 3'294 fr. La fortune imposable a par ailleurs été arrêtée à 605'776 fr. Les époux X._ ont formé une réclamation à l'encontre de cette taxation, en contestant le fait que le montant de 3'294 fr. n'ait pas été admis en déduction. Par décision du 30 septembre 2004, l'Administration cantonale a rejeté la réclamation. Elle a considéré que "la déduction des frais d'entretien n'est accordée que si les biens qui font l'objet d'actes d'entretien ou de conservation sont eux-mêmes productifs de revenu ou soumis à une valeur locative". Les époux X._ ont déféré cette décision à la Commission cantonale de recours en matière d'impôts, qui a rejeté le recours par décision du 19 juin 2006. Le recours interjeté contre cette décision auprès du Tribunal administratif du canton de Genève a été rejeté par arrêt du 19 septembre 2006. Sur la base d'une interprétation historique de l'art. 6 al. 4 de la loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid (LIPP-V; RSG D 3 16), cette autorité a considéré que la volonté du législateur de lier la déduction des frais d'entretien, frais d'assurance et frais administratifs relatifs à un immeuble à la production d'un revenu par l'immeuble en cause ressortait sans équivoque des travaux préparatoires. Dans le cas particulier, pour la période allant du 24 septembre - date de son acquisition - au 31 décembre 2002, l'immeuble de Z._ n'avait produit aucun revenu et les contribuables n'avaient pas non plus déclaré de valeur locative, de sorte que le montant de 3'294 fr. ne pouvait être admis en déduction. C. Agissant par la voie du recours de droit administratif, les contribuables demandent au Tribunal fédéral d'annuler l'arrêt du 19 septembre 2006 et de renvoyer la cause à l'Administration cantonale afin qu'elle procède à une nouvelle taxation de l'impôt cantonal et communal 2002, sous suite de frais et dépens. Ils dénoncent une violation du droit fédéral et cantonal régissant la matière, un abus du pouvoir d'appréciation ainsi qu'une violation des principes constitutionnels d'harmonisation et de l'interdiction de l'arbitraire, de la notion de revenu net des art. 7 et suivants de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) et des principes de l'égalité et de l'imposition selon la capacité contributive. L'autorité intimée renonce à se déterminer, en persistant dans les considérants et le dispositif de son arrêt. L'Administration cantonale et l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé et des droits de timbre, concluent au rejet du recours, sous suite de frais.