Faits :
A. AX._ et BX._ (ci-après: les contribuables ou les recourants) étaient copropriétaires d'un appartement de huit pièces sis à Y._, qu'ils ont habité avec leurs trois enfants mineurs durant toute l'année 2002.
Le 24 septembre 2002, les époux X._ ont acquis un immeuble, à Z._, dont la valeur fiscale est de 2'600'000 fr. Après y avoir fait effectuer des travaux, ils y ont emménagé le 3 mars 2003.
Dans leur déclaration fiscale 2002, les époux X._ ont fait figurer l'immeuble de Z._ pour un montant de 2'600'000 fr. Pour l'impôt cantonal et communal, ils ont fait valoir en déduction au titre de charges et frais d'entretien relatifs à cet immeuble une prime d'assurance incendie bâtiment, dégâts d'eau et bris de glace de 3'259 fr. 10 ainsi que des "frais de formulaire" de 35 fr., soit 3'294 fr. au total. Ils n'ont en revanche rien indiqué sous la rubrique "valeur locative".
B. Dans sa taxation du 9 février 2004, l'Administration fiscale du canton de Genève (ci-après: l'Administration cantonale) a fixé le revenu imposable des époux X._ à 368'889 fr. Elle n'a pas admis en déduction le montant de 3'294 fr. La fortune imposable a par ailleurs été arrêtée à 605'776 fr.
Les époux X._ ont formé une réclamation à l'encontre de cette taxation, en contestant le fait que le montant de 3'294 fr. n'ait pas été admis en déduction.
Par décision du 30 septembre 2004, l'Administration cantonale a rejeté la réclamation. Elle a considéré que "la déduction des frais d'entretien n'est accordée que si les biens qui font l'objet d'actes d'entretien ou de conservation sont eux-mêmes productifs de revenu ou soumis à une valeur locative".
Les époux X._ ont déféré cette décision à la Commission cantonale de recours en matière d'impôts, qui a rejeté le recours par décision du 19 juin 2006.
Le recours interjeté contre cette décision auprès du Tribunal administratif du canton de Genève a été rejeté par arrêt du 19 septembre 2006. Sur la base d'une interprétation historique de l'art. 6 al. 4 de la loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid (LIPP-V; RSG D 3 16), cette autorité a considéré que la volonté du législateur de lier la déduction des frais d'entretien, frais d'assurance et frais administratifs relatifs à un immeuble à la production d'un revenu par l'immeuble en cause ressortait sans équivoque des travaux préparatoires. Dans le cas particulier, pour la période allant du 24 septembre - date de son acquisition - au 31 décembre 2002, l'immeuble de Z._ n'avait produit aucun revenu et les contribuables n'avaient pas non plus déclaré de valeur locative, de sorte que le montant de 3'294 fr. ne pouvait être admis en déduction.
C. Agissant par la voie du recours de droit administratif, les contribuables demandent au Tribunal fédéral d'annuler l'arrêt du 19 septembre 2006 et de renvoyer la cause à l'Administration cantonale afin qu'elle procède à une nouvelle taxation de l'impôt cantonal et communal 2002, sous suite de frais et dépens. Ils dénoncent une violation du droit fédéral et cantonal régissant la matière, un abus du pouvoir d'appréciation ainsi qu'une violation des principes constitutionnels d'harmonisation et de l'interdiction de l'arbitraire, de la notion de revenu net des art. 7 et suivants de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) et des principes de l'égalité et de l'imposition selon la capacité contributive.
L'autorité intimée renonce à se déterminer, en persistant dans les considérants et le dispositif de son arrêt. L'Administration cantonale et l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé et des droits de timbre, concluent au rejet du recours, sous suite de frais.

Le Tribunal fédéral considère en droit:
1. 1.1 La loi du 17 juin 2005 sur le Tribunal fédéral (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 p. 1205 ss, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par la loi fédérale d'organisation judiciaire du 16 décembre 1943 (ci-après: OJ; <ref-law>).
1.2 Conformément à l'<ref-law>, les décisions cantonales de dernière instance peuvent faire l'objet d'un recours de droit administratif devant le Tribunal fédéral, lorsqu'elles portent sur une matière réglée dans les titres deuxième à cinquième et sixième, chapitre premier, de la loi sur l'harmonisation (<ref-ruling> consid. 1 p. 58) et concernent une période postérieure au délai de 8 ans accordé aux cantons à compter de l'entrée en vigueur de cette loi le 1er janvier 1993 pour adapter leur législation aux dispositions des titres deuxième à sixième de celle-ci (<ref-law>).
En l'occurrence, l'arrêt attaqué a été rendu en dernière instance cantonale et porte sur une matière traitée par l'art. 9 figurant au titre deuxième, chapitre 2 de la loi sur l'harmonisation fiscale. Il concerne de plus l'imposition des recourants pour la période fiscale 2002, soit une période postérieure à l'échéance du délai de l'<ref-law>, de sorte que la voie du recours de droit administratif est ouverte en vertu de l'<ref-law> (cf. <ref-ruling> consid. 2 p. 591 ss).
Déposé au surplus en temps utile et dans les formes prescrites par la loi, le recours est recevable.
2. 2.1 Les frais d'entretien d'immeubles constituent des frais organiques d'acquisition du revenu immobilier. Ils sont en principe déductibles dans un système d'imposition du revenu global net, où l'ensemble des frais d'acquisition, des déductions générales et des déductions sociales est défalqué du total des revenus imposables (concernant l'imposition du revenu global net, cf. Markus Reich in Zweifel/Athanas, Kommentar zum Schweizerischen Steuerrecht, vol. I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG], 2e éd., Bâle/Genève/Munich 2002, n. 22 ss ad art. 7).
2.2 Aux termes de l'<ref-law>, "les dépenses nécessaires à l'acquisition du revenu et les déductions générales sont défalquées de l'ensemble des revenus imposables". Malgré son caractère général, cette définition des frais d'acquisition du revenu est claire et s'impose aux cantons (<ref-ruling> consid. 4b p. 71/72; 2A.683/2004, StE 2006 B 25.6 no 53, RDAF 2005 II 502, consid. 4.4). Les immeubles produisant un revenu - loyers ou valeur locative en cas d'usage personnel par le propriétaire -, les frais d'entretien immobiliers entrent dans cette définition et sont en principe déductibles (2A.683/2004, précité, consid. 2.3 et les références à la doctrine).
Ne sont en revanche pas déductibles, les dépenses d'acquisition ou d'amélioration des biens, y compris pour les immeubles les frais d'entretien au sens technique engagés, dans les cinq ans à compter de son acquisition, pour la remise en état d'un immeuble dont l'entretien a été négligé. Ces frais sont, en effet, considérés comme des impenses apportant une plus-value et ne sont, partant, pas déductibles (pratique Dumont, inaugurée par l'<ref-ruling>, précisée par l'<ref-ruling>).
Ne sont pas non plus déductibles, les frais d'entretien du contribuable et de sa famille (Reich, op. cit., n. 7 ad art. 9). Dans un système qui prévoit l'imposition de la valeur locative, soit d'un rendement, les frais d'entretien d'immeuble n'entrent pas dans cette catégorie.
Enfin, les dépenses engagées en relation avec un hobby ou en vue de satisfaire les goûts du contribuable, qui ne génèrent pas un revenu, constituent des frais d'entretien de celui-là ou des frais d'acquisition, de production ou d'amélioration d'éléments de fortune et ne sont pas déductibles (loc. cit.; pour l'impôt fédéral direct, cf. art. 34 lettres a et d LIFD).
3. En l'espèce, la prime d'assurance ainsi que les frais administratifs litigieux constituent des frais d'entretien d'immeuble qui sont en principe déductibles: il ne s'agit pas de dépenses engagées, dans les cinq ans à compter de son acquisition, pour la remise en état d'un immeuble dont l'entretien a été négligé. En se fondant sur l'art. 6 al. 4 LIPP-V, disposition aux termes de laquelle sont déduits du revenu notamment "les frais nécessaires à l'entretien des immeubles privés que possède le contribuable, les primes d'assurances relatives à ces immeubles et les frais d'administration par des tiers", l'autorité intimée a toutefois refusé la déduction, en raison du décalage temporel entre l'engagement de ces dépenses et l'obtention d'une valeur locative. Il est, en effet, constant que les frais en cause ont été engagés en 2002, période durant laquelle l'immeuble de Z._ était inhabitable en raison des travaux qui y étaient effectués, de sorte qu'il n'avait alors pas de valeur locative.
La notion de revenu global net des art. 7 et suivants LHID n'exige pas une symétrie parfaite entre le revenu et les dépenses déduites comme frais d'acquisition. Poser une telle exigence reviendrait à transformer tout ou partie de l'impôt sur le revenu en impôt cédulaire, car cela signifierait que les dépenses en cause ne pourraient être déduites que des revenus correspondants. Au demeurant, logiquement, lorsque ceux-ci sont inférieurs aux frais d'acquisition, la déduction de ces derniers devrait être limitée en conséquence. Sous réserve de l'<ref-law> - qui n'admet la déduction des intérêts passifs privés qu'à concurrence du rendement imposable de la fortune, augmenté d'un montant de 50'000 fr. -, le droit suisse ne connaît pas un tel régime (cf. Reich, op. cit., n. 25 ad art. 7). Ce n'est que lorsqu'il apparaît sur la durée, au vu d'un revenu inexistant ou trop faible et de la nature des frais engagés, que ceux-ci ne sont pas justifiés et n'ont pas de sens d'un point de vue économique, que se pose la question d'une requalification en dépenses d'entretien du contribuable ou en dépenses servant à la pratique d'un hobby ou d'une activité de nature analogue. Ainsi, la déduction des frais d'acquisition du revenu est admise sous réserve de l'abus de droit.
Dans le cas particulier, il découle de ce qui précède que les frais d'entretien en cause sont en principe déductibles et ne changent pas de qualification seulement en raison de l'absence provisoire de revenu due aux travaux. Ils sont donc déductibles lors de la période fiscale 2002, même si une valeur locative n'apparaît qu'en 2003.
Seule cette interprétation de l'<ref-law> est conforme aux principes de la capacité contributive (art. 127 Cst.) et de l'égalité (art. 8 Cst.). Ne permettre la déduction des frais d'entretien qu'à concurrence de la valeur locative reviendrait à traiter le rendement de la fortune immobilière et les frais d'acquisition de celui-ci différemment d'autres formes de revenus et de déductions, sans qu'une telle distinction ne soit justifiée. Par exemple, lorsque l'activité lucrative indépendante se solde par une perte, celle-ci peut être déduite des autres revenus acquis par le contribuable la même année. Les montants versés à une institution de prévoyance professionnelle au titre de rachat de cotisations ne sont pas seulement déductibles du produit de l'activité lucrative, mais aussi des autres revenus.
Ce qui précède vaut pour les dépenses effectives. Le contribuable qui opte pour le système plus simple du forfait n'y a pas droit en l'absence de revenu. Cela est inhérent à ce mode de déduction qui peut entraîner des inégalités à l'avantage comme au détriment du contribuable, inégalités pouvant d'ailleurs se compenser sur la durée.
Dans la mesure où le droit genevois dit autre chose ou est interprété différemment, il est contraire à l'<ref-law> et à l'art. 127 Cst.
4. Au vu de ce qui précède, le recours doit être admis, la décision attaquée étant annulée et la cause renvoyée à l'Administration cantonale pour qu'elle statue à nouveau dans le sens des considérants.
Les frais de justice seront supportés par le canton de Genève, dont les intérêts pécuniaires sont en cause (art. 156 al. 1 et 2, 153 et 153a OJ). Les recourants ont droit à des dépens (art. 159 al. 1 OJ), qu'il convient de mettre à la charge du canton de Genève.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt du Tribunal administratif du canton de Genève du 19 septembre 2006 est annulé. La cause est renvoyée à l'Administration fiscale cantonale genevoise pour qu'elle rende une nouvelle décision dans le sens des considérants.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du canton de Genève.
3. Le canton de Genève versera aux recourants une indemnité de 2'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué en copie au mandataire des recourants, à l'Administration fiscale cantonale genevoise et au Tribunal administratif du canton de Genève ainsi qu'à l'Administration fédérale des contributions, Division juridique impôt fédéral direct.
Lausanne, le 7 juin 2007
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: