Faits: A. A.a X._, né en 1938 à I._ (Tunisie), de nationalités tunisienne, française et suisse (originaire de H._), est décédé le 29 janvier 2005 à G._ (Maroc), où il résidait depuis 1997. X._ a deux fils, issus de son union avec dame X._: A._, né en 1986, et B._, né en 1996. X._ a également deux filles, nées d'un premier mariage: C._, née en 1967, et D._, née en 1969. A.b X._ est décédé sans laisser de dispositions testamentaires. B. Le 15 juillet 2009, dame X._ et ses deux fils ont déposé une requête en inventaire au greffe de la Justice de paix du canton de Genève, prétendant qu'il n'avait pas été possible de faire liquider la succession du défunt au Maroc, le droit de ce pays étant contraire à l'ordre public suisse. Ils ont annexé à leur requête un projet de convention, un projet de certificat d'héritier ainsi qu'un projet d'inventaire dressés par un notaire genevois. Par décision du 3 novembre 2009, la Justice de paix s'est déclarée incompétente pour s'occuper de la succession de X._. Statuant le 1er février sur l'appel de dame X._, A._ et B._, la Cour de justice a confirmé la décision attaquée. C. Par acte du 5 mars 2010, dame X._, A._ et B._ (ci-après les recourants) exercent un recours en matière civile au Tribunal fédéral. Ils concluent à l'annulation de la décision cantonale et à ce qu'il soit dit que les juridictions genevoises sont compétentes pour connaître de la succession du défunt, avec application du droit suisse. Subsidiairement, ils demandent que ladite compétence soit reconnue pour les biens situés hors du Maroc et, plus subsidiairement encore, que la cause soit renvoyée à la Justice de paix, voire à la Cour de justice du canton de Genève. A l'appui de leurs conclusions, les recourants invoquent la violation des art. 17, 20 et 86 ss LDIP ainsi que celle des art. 8 Cst. et 14 de la Convention Européenne de sauvegarde des Droits de l'Homme et des Libertés Fondamentales (ci-après CEDH).