Faits:
A. Dame X._ et X._ sont domiciliés dans le canton de Genève.
Né en 1936, X._ a travaillé en qualité de directeur général de la société A._ SA de 1997 au 31 juillet 2002, date à laquelle il a été licencié. A son départ, il a reçu une indemnité de 600'000 fr.
Dans sa déclaration fiscale 2002, X._ a indiqué un revenu brut provenant d'une activité dépendante de 915'000 fr. Il a fait figurer le montant de 600'000 fr. sous la rubrique "Prestations en capital; Indemnité à la fin des rapports de service, indemnité de licenciement etc." A cela s'ajoutaient d'autres revenus, en particulier une rente du 2ème pilier de 96'471 fr., une rente AVS de 23'040 fr. et les revenus de Dame X._.
B. Le 22 décembre 2003, l'Administration fiscale cantonale genevoise (ci-après: l'Administration fiscale) a notifié aux époux X._ un bordereau d'impôt cantonal et communal (ci-après: ICC) 2002 retenant un revenu imposable de 980'430 fr. pour un montant d'impôt de 302'017 fr. Le montant de 600'000 fr. a été considéré comme un élément du salaire.
X._ a formé une réclamation, considérant que ce montant correspondait à une indemnité qui devait bénéficier du même traitement fiscal qu'un versement en capital remplaçant des prestations périodiques. Le 22 septembre 2004, l'Administration fiscale a confirmé la taxation ICC 2002.
Le 28 janvier 2008, la Commission cantonale de recours en matière d'impôt (devenue, le 1er janvier 2009, la Commission cantonale de recours en matière administrative) du canton de Genève (ci-après: la Commission de recours) a admis le recours formé par X._. Elle a retenu en substance que l'indemnité de licenciement de 600'000 fr. versée n'avait pas un caractère de prévoyance; néanmoins, comme le législateur genevois avait voulu délibérément offrir un régime d'imposition favorable à toutes les indemnités de départ, le montant alloué au recourant devait bénéficier du même régime que s'il s'était agi d'un versement en capital remplaçant des prestations périodiques.
Par arrêt du 30 juin 2009, le Tribunal administratif du canton de Genève, 1ère Section, (ci-après: le Tribunal administratif) a admis le recours interjeté par l'Administration fiscale et annulé la décision précitée du 28 janvier 2008. Selon cet arrêt, l'indemnité litigieuse était une prime de départ versée à bien plaire par l'employeur dans le but d'atténuer les effets de la cessation d'activité de l'entreprise. Elle ne pouvait donc être considérée comme remplaçant des prestations périodiques et devait être imposée au taux ordinaire.
C. A l'encontre de l'arrêt du Tribunal administratif du 30 juin 2009, Dame X._ et X._ interjettent un recours en matière de droit public au Tribunal fédéral. Ils concluent, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi du dossier à l'Administration fiscale pour qu'elle prenne une nouvelle décision dans le sens des considérants.
La Commission de recours n'a pas présenté d'observations, à l'instar du Tribunal administratif, qui a seulement indiqué persister dans les considérants et le dispositif de l'arrêt entrepris. L'Administration fiscale conclut au rejet du recours, avec suite de frais.
D. Les époux X._ ont introduit une procédure parallèle à l'encontre de leur taxation 2002 en matière d'impôt fédéral direct, mais ils ont été déboutés par la Commission de recours et n'ont pas recouru contre sa décision.

Considérant en droit:
1. 1.1 Le recours est dirigé contre une décision finale (<ref-law>) qui a été rendue dans une cause de droit public (<ref-law>) par une autorité cantonale judiciaire supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) et qui ne peut pas faire l'objet d'un recours auprès du Tribunal administratif fédéral (art. 86 al. 1 let. d LTF); en outre, aucune des exceptions prévues à l'<ref-law> n'est réalisée. La voie du recours en matière de droit public est donc en principe ouverte au regard de la LTF. Elle l'est également en vertu de l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14; sur les rapports entre cette disposition et la LTF, cf. <ref-ruling> consid. 1.3 p. 189). Le recours porte en effet sur l'application du taux privilégié pour les versements en capitaux remplaçant des prestations périodiques, soit sur une matière réglée au titre 2 de la LHID, et concerne la période fiscale 2002 (cf. <ref-law>).
1.2 Le recours a été formé en temps utile compte tenu des féries (art. 45 al. 1, 46 al. 1 let. b et 100 al. 1 LTF), dans les formes prescrites (<ref-law>), par les contribuables destinataires de la décision attaquée qui ont intérêt à recourir (<ref-law>). Les recourants se sont limités à des conclusions en renvoi. Bien qu'ils eussent aussi pu conclure sur le fond, dès lors que l'<ref-law> l'emporte sur l'<ref-law> (<ref-ruling> consid. 1.5.3 p. 191 s., confirmé in <ref-ruling> consid. 1.3.2 p. 263), de telles conclusions restent admissibles dans le cadre d'un recours en matière de droit public (cf. <ref-ruling> consid. 1.4 p. 414 s. et les références). Il convient donc d'entrer en matière.
2. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il vérifie en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la LHID. Selon l'<ref-law>, en revanche, le Tribunal fédéral n'examine la violation de dispositions de droit cantonal que si ces griefs ont été soulevés et motivés. Il en va de même lorsque les dispositions de la LHID laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (<ref-ruling> consid. 2 p. 209 s.)
3. La disposition dont l'interprétation est discutée par les parties est l'art. 17 de la loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid (LIPP-V). Cette loi a toutefois été abrogée, le 1er janvier 2010, par la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques (LIPP; RS/GE D 3 08; art. 69 al. 1 let. e LIPP). Il découle de l'art. 72 al. 1 LIPP que les impôts relatifs aux périodes fiscales antérieures à la période 2010 demeurent régis par les dispositions de l'ancien droit. Par conséquent, le litige portant sur l'ICC 2002, la LIPP-V, en particulier son article 17, demeure applicable.
4. Il n'est en l'espèce pas contesté que l'indemnité de 600'000 fr. versée par l'ancien employeur de X._ en 2002 est soumise à l'impôt sur le revenu. En revanche, il faut se demander si ce montant doit ou non bénéficier du taux d'imposition privilégié prévu à l'art. 17 LIPP-V.
4.1 Se référant à l'<ref-law> et à l'art. 37 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11; disposition correspondante en matière d'impôt fédéral direct), le Tribunal administratif a interprété l'art. 17 LIPP-V dans le sens que seuls des versements en capital à la fin des rapports de service tendant à remplacer des prestations périodiques pouvaient bénéficier d'un taux privilégié. Or, aucun élément du dossier ne permettait d'en déduire que le montant de 600'000 fr. versé remplacerait de telles prestations. Il s'agissait d'une prime de départ allouée à bien plaire par l'employeur dans le but d'atténuer les effets de la cessation d'activité de l'entreprise, qui n'est pas versée d'ordinaire sous forme périodique. Partant l'imposition favorable de l'art. 17 LIPP-V n'était pas applicable.
4.2 Les recourants considèrent, pour leur part, que cette interprétation de l'art. 17 LIPP-V est arbitraire, car contraire à son texte clair et à l'intention du législateur cantonal, qui était de faire bénéficier du taux privilégié tous les versements en capital effectués par l'employeur à la fin des rapports de service, qu'ils remplacent ou non des prestations périodiques. Ils contestent aussi que l'art. 11 al. 3 (recte al. 2) LHID empêche le législateur cantonal de prévoir d'autres cas d'imposition au taux de la rente et reprochent au Tribunal administratif d'avoir violé les art. 3 et 129 al. 2 Cst. en interprétant l'art. 17 LIPP-V contrairement à sa lettre et à son but, pour lui donner une portée identique à celle de l'<ref-law>.
5. 5.1 L'art. 17 LIPP-V prévoit: "Lorsque le revenu comprend des versements de capitaux remplaçant des prestations périodiques ou des versements en capital à la fin des rapports de service, l'impôt se calcule, compte tenu des autres revenus et des déductions autorisées, au taux qui serait applicable si une prestation annuelle était servie en lieu et place de l'indemnité unique."
Cette disposition concrétise l'<ref-law> qui est rédigé comme suit: "Lorsque le revenu comprend des versements de capitaux remplaçant des prestations périodiques, le calcul de l'impôt est effectué compte tenu des autres revenus, au taux qui serait applicable si une prestation annuelle correspondante était versée en lieu et place de la prestation unique." L'<ref-law> a une teneur presque identique à celle de l'<ref-law>.
5.2 Dans un arrêt du 20 septembre 2005 (cause 2A.100/2005), le Tribunal fédéral a été amené à se prononcer sur la portée de l'<ref-law> et sur la marge de manoeuvre laissée aux cantons par cette disposition. Il a indiqué que la lettre de l'<ref-law> n'offrait aux cantons aucune liberté qu'ils puissent utiliser d'une manière ou d'une autre. Cet arrêt relève que les critiques d'une partie de la doctrine selon lesquelles les dispositions de l'<ref-law> empièteraient sur l'autonomie des cantons en matière de taux d'imposition garantie par les art. 3 et 129 Cst. n'y changeaient rien, car le droit fédéral devait être appliqué en vertu de l'art. 191 (actuellement 190) Cst., ce qui correspondait du reste à la volonté du législateur (arrêt 2A.100/2005 du 20 septembre 2005 consid. 2.2, in StR 61/2006 p. 53 traduit in RDAF 2006 II p. 21).
5.3 Le respect de l'harmonisation verticale implique d'assurer une concordance entre les impôts directs de la Confédération et des cantons (cf. <ref-ruling> consid. 6.2 et 6.3 p. 77 s.; arrêt 2P.204/2006 du 21 mai 2007 consid. 6 et les références). La LIFD constitue ainsi un élément important dans l'interprétation du droit cantonal harmonisé (cf. arrêts 2A.647/2005 du 7 juin 2007 consid. 3.3, in StR 62/2007 p. 648 traduit in RDAF 2007 II p. 531, et 2P.251/2006 du 15 janvier 2007 consid. 3.1, in StE 2007 B 22.3 n. 93). Comme, en matière d'impôt fédéral direct, l'<ref-law> est pratiquement identique à l'<ref-law>, la notion de "versements de capitaux remplaçant des prestations périodiques" figurant à l'<ref-law> peut être utilisée pour interpréter le droit cantonal, car il n'est pas concevable que la même prestation soit imposée en droit fédéral selon des principes différents du droit cantonal (arrêt 2A.100/2005 précité consid. 2.2).
6. Dans un premier temps, il convient d'examiner si l'interprétation donnée par le Tribunal administratif de l'art. 17 LIPP-V échappe au grief d'arbitraire. Dans cette hypothèse, seule la conformité de l'arrêt attaqué avec le droit fédéral devra ensuite être examinée, sans qu'il y ait lieu de s'interroger sur le bien-fondé de la solution dont se prévalent les recourants.
6.1 En matière d'application du droit cantonal, arbitraire et violation de la loi ne doivent pas être confondus; une violation de la loi doit être manifeste et reconnaissable d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Il n'y a pas arbitraire du seul fait qu'une autre solution paraît également concevable, voire préférable (<ref-ruling> consid. 5.1 p. 18).
6.2 Le texte de l'art. 17 LIPP-V (cf. supra, consid. 5.1) n'est pas d'une clarté absolue lorsqu'il mentionne "des versements de capitaux remplaçant des prestations périodiques ou des versements en capital à la fin des rapports de service". Ainsi, la portée donnée à cette disposition par les juges cantonaux selon laquelle, pour bénéficier du taux privilégié, les versements en capital à la fin des rapports de service doivent, eux aussi, remplacer des prestations périodiques, n'est pas d'emblée exclue. Contrairement à ce que soutiennent les recourants, l'interprétation retenue dans l'arrêt attaqué, certes restrictive, n'est donc pas manifestement contraire au texte de l'art. 17 LIPP-V.
6.3 Il ressort des travaux préparatoires cités par les recourants que le législateur genevois a souhaité reprendre à l'art. 17 LIPP-V la solution qui prévalait précédemment (Mémorial des séances du Grand Conseil du canton de Genève 1996 p. 6572). Cependant, sous l'ancien droit, les versements de capitaux effectués par un employeur à la fin des rapports de service ne bénéficiaient pas sans autre d'un traitement fiscal privilégié comme le sous-entendent les recourants; selon la jurisprudence cantonale, ils devaient, pour être imposables au taux de la rente, avoir un caractère prépondérant de prévoyance (cf. FRÉDÉRIC VUILLEUMIER/ETIENNE VON STRENG, Traitement fiscal des indemnités de départ et des autres versements de capitaux de l'employeur, RDAF 2003 II p. 167 n. 4.2.2). On ne peut donc conclure qu'en reprenant la solution de l'ancien droit, le législateur genevois voulait faire bénéficier toutes les indemnités de départ du taux de la rente, sans distinction.
6.4 L'interprétation retenue dans l'arrêt attaqué correspond en outre à la pratique. En effet, l'Administration fiscale a notamment indiqué le 22 novembre 2000, dans une Information N° 5/2000 (disponible sur le site internet de l'Etat de Genève), que les prestations en capital versées à l'employé par l'employeur à la fin des rapports de service doivent être versées en remplacement de prestations périodiques futures, pour être imposées au taux de la rente (cf. Information N° 5/2000 n. 4.2). Si elles sont assimilables à des compléments de salaire, elles sont imposables comme un autre revenu, sans bénéficier d'un taux privilégié (cf. Information N° 5/2000 n. 4.1). La doctrine a critiqué cette position (cf. VUILLEUMIER/VON STRENG, op. cit., p. 166 n. 4.2.1; GION CLOPATH, Traitement des indemnités de licenciement en droit fiscal suisse et genevois, RDAF 2000 II p. 533 s. n. 7.2). En l'espèce, il n'y a pas lieu de se prononcer sur tous les aspects contenus dans l'Information N° 5/2000. Il suffit de constater qu'en ne faisant pas bénéficier les simples compléments de salaire du taux privilégié, l'Administration fiscale a adopté une pratique conforme à la jurisprudence du Tribunal fédéral qui, comme déjà indiqué, limite la liberté des cantons de prévoir d'autres hypothèses que celles visées à l'<ref-law> (cf. arrêt 2A.100/2005 précité consid. 2.2; cf. supra, consid. 5.2).
6.5 Enfin, il convient de relever que la nouvelle loi genevoise sur l'imposition des personnes physiques (LIPP; cf. supra, consid. 3) a supprimé, à son article 43, la référence aux versements en capital à la fin des rapports de service et repris presque textuellement l'<ref-law>. Or, dans les travaux préparatoires de la LIPP, on a relevé ce qui suit à propos de l'art. 17 LIPP-V: "contrairement à ce que peut laisser penser la disposition actuelle, seuls les 'versements en capital à la fin des rapports de service' qui remplacent des prestations périodiques peuvent être imposés au taux" privilégié (PL 10385 présenté par le Conseil d'Etat le 7 novembre 2008 p. 78 s. ad art. 44 du projet). Le législateur a donc lui-même admis que l'art. 17 LIPP-V avait bien le sens retenu dans l'arrêt attaqué et n'avait pas la portée élargie dont cherchent à se prévaloir les recourants.
6.6 Compte tenu de tous ces éléments, on voit mal que l'interprétation, certes restrictive par rapport au texte de l'art. 17 LIPP-V, donnée par le Tribunal administratif paraisse indéfendable et puisse être qualifiée d'arbitraire. Le grief doit donc être rejeté.
7. Il reste à examiner si le refus de faire bénéficier les recourants du taux de la rente en vertu de l'art. 17 LIPP-V contrevient au droit fédéral.
7.1 A cet égard, il convient de rappeler que le rôle du Tribunal fédéral est de vérifier si l'arrêt attaqué est conforme au droit fédéral. Il ne lui appartient donc pas de se demander si la solution proposée par les recourants serait aussi admissible. En d'autres termes, il n'y a pas lieu de déterminer si, au regard des art. 3 et 129 Cst., ainsi que de l'<ref-law>, une loi cantonale pourrait prévoir que les versements en capital alloués par l'employeur à la fin des rapports de service bénéficient du taux privilégié, même s'ils ne remplacent pas une prestation périodique.
7.2 Il ressort de l'arrêt attaqué que le montant de 600'000 fr. alloué à X._ par son employeur représentait une prime de départ versée à bien plaire, dans le but d'atténuer les effets de la cessation d'activité de l'entreprise, ce qui, à ce stade, n'est plus remis en cause par les recourants. Aucun élément ne permettait d'en déduire qu'elle tendait à remplacer des prestations périodiques.
En considérant, sur cette base, que l'<ref-law>-V ne permettait pas une imposition à un taux privilégié, l'arrêt attaqué ne parvient pas à une solution contraire à la LHID, puisque l'interprétation non arbitraire donnée du droit cantonal (cf. supra, consid. 6) correspond au texte même de l'<ref-law>. Il ressort en outre de la jurisprudence fondée sur l'<ref-law>, qui peut être prise en compte sous l'angle de l'harmonisation verticale (cf. supra, consid. 5.3), qu'une indemnité, qui a été versée par l'employeur dans le cadre d'une interruption des rapports de service et qui ne remplace pas des prestations périodiques, n'a pas à être imposée au taux de la rente (arrêt 2A.50/2000 du 6 mars 2001 consid. 4b, in Archives 71 p. 486, traduit in RDAF 2001 II 253).
Il apparaît ainsi que l'arrêt attaqué a appliqué le droit cantonal conformément au texte de l'<ref-law> et à la notion de prestations périodiques découlant de l'<ref-law>. Il n'est donc pas contraire au droit fédéral.
7.3 Dès lors que la portée donnée par le Tribunal administratif à l'art. 17 LIPP-V ne va pas au-delà de ce que prescrit l'<ref-law>, il n'y a pas lieu de s'interroger sur une éventuelle violation des art. 3 et 129 Cst. réservant l'autonomie des cantons en matière de taux d'imposition. Au demeurant, le Tribunal fédéral a déjà souligné que, de toute façon, le respect de l'art. 190 Cst. lui imposait d'appliquer l'<ref-law> (cf. supra, consid 5.2; arrêt 2A. 100/2005 précité consid. 2.2. in fine).
Dans ces circonstances, le recours doit être rejeté.
8. Succombant, les recourants supporteront les frais judiciaires solidairement entre eux (cf. art. 65 al. 1 et 3 et 66 al. 1 et 5 LTF). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué aux mandataires des recourants, à l'Administration fiscale cantonale, à la Commission cantonale de recours en matière administrative et au Tribunal administratif du canton de Genève, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 27 avril 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Dupraz