Faits:
A. Dame X._, née en 1924, et X._, né en 1918, tous deux de nationalité espagnole, se sont mariés le 2 août 1948 à Y._ (Espagne), sous le régime matrimonial espagnol de la sociedad de gananciales ("société d'acquêts"). Trois enfants sont issus de leur union: A._, B._ et C._.
Par testament public du 28 juin 2005, dame X._ a légué à son époux sa réserve légale et à sa fille A._ ses bijoux et joyaux. Elle a institué uniques héritiers ses trois enfants.
B. Dame X._ est décédée le 12 décembre 2009 à Z._ (Espagne). Au jour de son décès, dame X._ était enregistrée à l'Office cantonal de la population du canton de Genève, sous la même adresse que son époux, et était imposée au forfait à Genève. Les époux étaient cependant séparés de fait depuis plusieurs années.
B.a Par courrier du 23 février 2010, l'administration fiscale du canton de Genève a informé X._ qu'une déclaration de succession devait être déposée dans les trois mois suivant le décès et a fixé un rendez-vous, en présence de tous les membres de l'hoirie, pour procéder à l'établissement du procès-verbal d'inventaire. La séance d'inventaire a pu avoir lieu le 10 mai 2010 et le procès-verbal établi à cette occasion fait état de mobilier en Espagne et de créances/titres, mais d'aucun compte bancaire en Suisse.
B.b Le 10 juin 2010, X._ a, par acte passé devant un notaire madrilène, renoncé à ses droits patrimoniaux dans la succession de son épouse.
B.c Le 11 juin 2010, les trois enfants ont déposé une déclaration de succession auprès des autorités fiscales espagnoles, dans laquelle ils indiquent que le dernier domicile de leur mère se situait à Z._ (Espagne), et ont joint un inventaire des acquêts des époux et des biens propres de la défunte, consistant en biens immobiliers, en avoirs bancaires en Espagne et en actions dans une société.
B.d Par décision du 7 juin 2011, l'administration fiscale du canton de Genève a assujetti la succession de feu dame X._ aux droits de succession genevois. Cette décision n'a pas été contestée. Le 14 juin 2011, l'autorité fiscale a procédé à la taxation de la succession, retenant que les avoirs imposables se composaient de mobilier, de comptes bancaires espagnols et d'actions dans une société.
C. Sur requête du 4 avril 2011 de A._ et B._ fondée sur l'art. 553 al. 1 ch. 3 CC, la Justice de paix a, par ordonnance du 25 mai 2011, notifiée le 8 juin 2011, ordonné l'inventaire civil de la succession de feu dame X._.
Le 24 juin 2011, X._ a formé un appel contre cette ordonnance, concluant à son annulation et au déboutement des requérants. Dans leur réponse du 29 juillet 2011, ceux-ci, auxquels C._ s'est joint, ont conclu à la confirmation de l'ordonnance attaquée et au déboutement de X._.
Par décision du 11 novembre 2011, la Chambre civile de la Cour de justice du canton de Genève (ci-après: la Cour de justice) a déclaré recevable l'appel de X._, rejeté l'intervention de C._, annulé l'ordonnance entreprise et déclaré irrecevable la requête en inventaire civil.
D. Par acte du 19 décembre 2011, A._ et B._ interjettent un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Ils concluent principalement à l'annulation de l'arrêt entrepris et à sa réforme en ce sens qu'un inventaire civil de la succession de dame X._ est ordonné, subsidiairement, au renvoi de la cause à l'autorité précédente pour nouvelle décision. A l'appui de leurs conclusions, ils invoquent les art. 5 al. 2, 9 et 29 al. 2 de la Constitution fédérale du 18 avril 1999 (ci-après: Cst.).
Des réponses n'ont pas été requises.
Considérant en droit:
1. La décision attaquée, qui déclare irrecevable la requête en prise d'inventaire successoral des recourants en raison de sa tardiveté et de l'incompétence des autorités suisses au regard de la LDIP, est une décision finale (art. 90 LTF; arrêt 5A_95/2008 du 20 août 2008 consid 1.2), qui tranche une cause civile (art. 72 al. 1 LTF) relevant de la juridiction gracieuse (arrêts 5A_171/2010 du 19 avril 2010 consid. 1; 5P.112/2002 du 16 juillet 2002 consid. 1.1; 5P.400/1999 du 25 mai 2000 consid. 5). La valeur des biens dépendant de la succession excède manifestement la valeur litigieuse minimale de 30'000 fr., seuil de recevabilité dans les affaires pécuniaires (art. 74 al. 1 let. b LTF). Dès lors, le point de savoir si la décision ordonnant ou refusant la prise d'inventaire au sens de l'art. 553 al. 1 CC constitue une affaire de nature pécuniaire ou non peut demeurer indécis. Il résulte de ce qui précède que le recours en matière civile est en principe recevable, en sorte que le recours constitutionnel subsidiaire exercé parallèlement par les recourants est irrecevable (art. 113 LTF; ATF 134 II 379 consid. 1.2 p. 382).
L'arrêt attaqué a en outre été rendu sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF). Enfin, le présent recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans la forme prévue par la loi (art. 42 LTF), par des parties ayant succombé devant l'autorité précédente et ayant un intérêt à l'annulation ou à la modification de l'arrêt entrepris (art. 76 al. 1 LTF); il est ainsi recevable au regard de ces dispositions.
2. 2.1 Dès lors que la décision attaquée portant sur le refus d'une mesure visant à faire établir un inventaire civil constitue une décision de mesures provisionnelles au sens de l'art. 98 LTF (ATF 94 II 55 consid. 2 p. 57 s.), seule peut être dénoncée la violation de droits constitutionnels. Que la compétence de l'autorité ayant statué soit également litigieuse au regard du droit international privé - comme en l'espèce - est sans incidence sur la cognition avec laquelle le Tribunal fédéral examine le recours, les règles de compétence n'échappant pas à l'art. 98 LTF (arrêts 5A_171/2010 du 19 avril 2010 consid. 2.1; 5A_95/2008 du 20 août 2008 consid. 1.4; 5A_552/2008 du 27 janvier 2009 consid. 2).
2.2 Le Tribunal fédéral n'examine la violation des droits constitutionnels que s'ils ont été invoqués et motivés par la partie recourante ("principe d'allégation", art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (ATF 134 I 83 consid. 3.2 p. 88 et les arrêts cités). Les critiques de nature appellatoire sont irrecevables (ATF 133 III 589 consid. 2 p. 591 s. et les arrêts cités). Lorsque la partie recourante entend se plaindre d'arbitraire (art. 9 Cst.), elle ne peut dès lors se borner à critiquer la décision attaquée comme elle le ferait en instance d'appel, où l'autorité de recours dispose d'une libre cognition; elle ne saurait se contenter d'opposer son opinion à celle de la juridiction précédente, mais doit démontrer, par une argumentation précise, que cette décision se fonde sur une application du droit manifestement insoutenable (ATF 134 II 349 consid. 3 p. 351 s.; 133 II 396 consid. 3.2 p. 400).
2.3 Selon la jurisprudence, une décision est arbitraire (art. 9 Cst.) si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.; arrêt 5A_634/2011 du 16 janvier 2012 consid. 2.1.1 dont la publication est prévue). Pour qu'une telle décision soit annulée, il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (ATF 133 I 149 consid. 3.1 p. 153 et les références citées).
3. Saisie par l'intimé, la Cour de justice a d'abord constaté que le conjoint survivant dispose à ce titre d'une prétention sur les biens matrimoniaux de la défunte, partant, qu'il fallait admettre sa qualité pour former appel. L'autorité précédente a ensuite annulé la décision de première instance et jugé la requête en inventaire civil irrecevable pour cause notamment d'incompétence des autorités suisses au sens des art. 86, 88 et 89 de la loi fédérale sur le droit international privé (ci-après: LDIP). Les juges précédents ont en effet relevé que le litige revêtait un caractère international et que la LDIP était applicable, la défunte étant de nationalité espagnole et les biens connus dépendant de la succession situés en Espagne. A la lumière de ces dispositions, la cour cantonale a conclu à l'incompétence des autorités suisses pour ordonner une telle mesure. Les juges cantonaux ont constaté que, au jour du décès, la défunte avait certes son domicile fiscal en Suisse à la même adresse que son époux, mais qu'elle était séparée de fait de celui-ci depuis plusieurs années et qu'elle résidait depuis une date indéterminée à Z._ (Espagne) où elle est décédée. Ils ont en outre relevé que les liens familiaux et le patrimoine de la défunte se situaient en Espagne, pays dans lequel elle avait consulté un notaire pour établir son testament, en sorte que les juges précédents ont admis que le centre des affaires personnelles, financières et administratives de la défunte se trouvait, au jour de son décès, en Espagne. Le dernier domicile de la défunte se situant à Z._ (Espagne), la cour cantonale a jugé que la compétence des autorités suisses n'était pas donnée sur la base de l'art. 86 LDIP. L'autorité précédente a également nié sa compétence fondée sur les art. 88 et 89 LDIP, dès lors que les recourants n'ont pas rendu vraisemblable que les autorités espagnoles ne s'occupaient pas des parts de succession sises en Suisse et que la requête en inventaire ne visait pas à sauvegarder et à conserver les valeurs de la succession, mais à assurer la dévolution de l'hérédité.
4. Les recourants se plaignent de la violation de leur droit d'être entendu, consacré à l'art. 29 al. 2 Cst., estimant que la décision entreprise ne contient aucune motivation sur le grief principal qu'ils ont développé devant l'instance précédente portant sur le défaut de légitimation de leur père à faire appel de la décision ordonnant la prise d'inventaire successoral.
4.1 Le droit à une décision motivée participant de la nature formelle du droit d'être entendu (ATF 104 Ia 201 consid. 5g p. 212 ss), sa violation conduit à l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond (ATF 135 I 279 consid. 2.6.1 p. 285; arrêt 5A_791/2010 du 23 mars 2011 consid. 2.2), en sorte que ce grief doit être examiné en premier (ATF 137 I 195 consid. 2.1 p. 197; 124 I 49 consid. 1 p. 50) et avec une pleine cognition (ATF 121 I 54 consid. 2a p. 56 s.).
La jurisprudence a notamment déduit du droit d'être entendu le devoir pour le juge de motiver sa décision, afin que le destinataire puisse en saisir la portée, le cas échéant, l'attaquer en connaissance de cause, et que l'autorité de recours puisse exercer son contrôle (ATF 133 III 439 consid. 3.3 p. 445 s. et les arrêts cités). Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision; il n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à ceux qui lui apparaissent pertinents (ATF 136 I 229 consid. 5.2 p. 236; 136 V 351 consid. 4.2 p. 355 et les références).
4.2 En l'occurrence, l'autorité cantonale a justifié sa décision d'entrer en matière sur l'appel de l'intimé parce que celui-ci aurait un intérêt à l'inventaire civil des biens de la défunte, dans la mesure où il a au moins la qualité de conjoint survivant de la défunte (cf. supra consid. 3). L'autorité cantonale a ainsi examiné le fond du grief soulevé en instance cantonale par les recourants, à savoir la qualité de l'intimé pour former appel alors qu'il a renoncé à son statut d'héritier. La Cour de justice a, par substitution de motifs, apporté une réponse motivée dans la mesure utile au grief concernant la qualité de partie de l'intimé. Il n'y a donc pas de violation du droit d'être entendu. Cela étant, devant la cour de céans, les recourants remettent toujours en cause la qualité de partie de leur père, à la lumière du droit cantonal de procédure. Le Tribunal fédéral examine toutefois librement la qualité pour agir et la qualité pour défendre (ATF 114 II 345 consid. 3d p. 348; 108 II 216 consid. 1 p. 217), dans les limites des faits allégués et établis lorsque le litige est soumis à la maxime des débats (ATF 130 III 550 consid. 2 p. 551 s.; 118 Ia 129 consid. 1 p. 130).
4.2 En l'occurrence, l'autorité cantonale a justifié sa décision d'entrer en matière sur l'appel de l'intimé parce que celui-ci aurait un intérêt à l'inventaire civil des biens de la défunte, dans la mesure où il a au moins la qualité de conjoint survivant de la défunte (cf. supra consid. 3). L'autorité cantonale a ainsi examiné le fond du grief soulevé en instance cantonale par les recourants, à savoir la qualité de l'intimé pour former appel alors qu'il a renoncé à son statut d'héritier. La Cour de justice a, par substitution de motifs, apporté une réponse motivée dans la mesure utile au grief concernant la qualité de partie de l'intimé. Il n'y a donc pas de violation du droit d'être entendu. Cela étant, devant la cour de céans, les recourants remettent toujours en cause la qualité de partie de leur père, à la lumière du droit cantonal de procédure. Le Tribunal fédéral examine toutefois librement la qualité pour agir et la qualité pour défendre (ATF 114 II 345 consid. 3d p. 348; 108 II 216 consid. 1 p. 217), dans les limites des faits allégués et établis lorsque le litige est soumis à la maxime des débats (ATF 130 III 550 consid. 2 p. 551 s.; 118 Ia 129 consid. 1 p. 130).
4.3 4.3.1 La qualité de l'intimé pour appeler pose les questions - qui sont examinées d'office (ATF 110 V 347 consid. 1 p. 348; arrêt 5A_434/2011 du 31 mai 2012 consid. 2.2.1) - de la qualité pour agir (ou légitimation active) et pour défendre (ou légitimation passive), qui appartiennent aux conditions matérielles de la prétention litigieuse, lesquelles se déterminent selon le droit au fond et dont le défaut conduit au rejet de l'action (ATF 126 III 59 consid. 1a p. 63; 125 III 82 consid. 1a p. 83 s.; 123 III 60 consid. 3a p. 63).
4.3.2 Aux termes de l'art. 553 al. 1 ch. 3 CC, l'autorité ordonne la prise d'un inventaire conservatoire à la requête d'un héritier légal ou institué. Alors que la qualité pour requérir l'intervention de l'autorité est limitée (PIOTET, Droit successoral, Traité de droit privé suisse IV, 2ème éd., 1988, § 88 p. 626), les mesures de sûreté, dont celle de l'art. 553 al. 1 CC fait partie, déploient des effets également en faveur ou en défaveur de tiers (KARRER/VOGT/LEU, ZGB II, Basler Kommentar, 4ème éd., 2011, N 9 ad Vorbem. art. 551-559 ZGB), notamment le conjoint survivant. Selon la jurisprudence, l'art. 553 al. 1 CC ne restreint pas l'inventaire civil aux biens qui constitueront la masse successorale après la liquidation du régime matrimonial; à la suite du décès, il est en général impossible, ou du moins rarement évident, de déterminer lesquels des biens ayant appartenu au défunt reviendront à l'époux survivant en vertu de la liquidation du régime matrimonial et lesquels entreront dans la masse successorale, en sorte que, au moins une partie des acquêts des époux est inventoriée (arrêt 5P.400/1999 du 25 mai 2000 consid. 5; KARRER/VOGT/LEU, op. cit., N 3 ad art. 553 ZGB).
Le droit cantonal de procédure prévoit la qualité pour agir s'agissant de l'inventaire de l'art. 553 CC, à l'art. 71 de la loi genevoise du 28 novembre 2010 d'application du Code civil suisse et autres lois fédérales en matière civile (entrée en vigueur le 1er janvier 2011, ci-après: LaCC), en ce sens que "Tous ceux qui ont le droit de requérir l'apposition des scellés peuvent solliciter l'établissement de l'inventaire". Or, l'art. 59 LaCC auquel il est implicitement renvoyé, expose que l'apposition des scellés peut être requise notamment "par tous ceux qui prétendent à un droit dans une succession ou des biens matrimoniaux ou de partenaires enregistrés" (art. 59 al. 1 let. a LaCC).
4.3.3 Il s'ensuit que, en l'espèce, le conjoint survivant est légitimé à requérir l'apposition de scellés et également l'inventaire successoral, partant, également à faire contrôler la légalité de la mesure ordonnée ou refusée en s'y opposant, sans qu'il soit nécessaire d'examiner le point de savoir si la renonciation aux droits patrimoniaux d'une succession emporte également la renonciation au statut d'héritier selon le droit espagnol. On ne saurait dès lors conclure à l'instar des recourants que l'autorité précédente a fait preuve d'arbitraire dans l'interprétation des règles cantonales de procédure (art. 59 al. 1 let. a et 71 LaCC) en reconnaissant au conjoint survivant la qualité pour former appel de la décision ordonnant l'établissement d'un inventaire successoral.
5. Les recourants font ensuite grief à l'autorité précédente d'avoir fait preuve d'arbitraire (art. 9 Cst.) dans l'application de l'art. 89 LDIP et d'avoir en conséquence méconnu la compétence des autorités suisses pour ordonner la prise d'inventaire civil. Les recourants ne critiquent cependant pas le raisonnement de la Cour de justice en ce qu'il écarte l'application des art. 86 et 88 LDIP dans ce contexte. Conformément au principe d'allégation (art. 106 al. 2 LTF, cf. supra consid. 2.2), seule la question de la compétence sous l'angle de l'art. 89 LDIP doit encore être discutée.
5. Les recourants font ensuite grief à l'autorité précédente d'avoir fait preuve d'arbitraire (art. 9 Cst.) dans l'application de l'art. 89 LDIP et d'avoir en conséquence méconnu la compétence des autorités suisses pour ordonner la prise d'inventaire civil. Les recourants ne critiquent cependant pas le raisonnement de la Cour de justice en ce qu'il écarte l'application des art. 86 et 88 LDIP dans ce contexte. Conformément au principe d'allégation (art. 106 al. 2 LTF, cf. supra consid. 2.2), seule la question de la compétence sous l'angle de l'art. 89 LDIP doit encore être discutée.
5.1 5.1.1 Selon l'art. 89 LDIP, les autorités suisses sont compétentes pour prononcer les mesures conservatoires nécessaires, indépendamment de l'attitude des autorités étrangères et du dernier domicile du défunt à l'étranger (arrêt 5P.112/2002 du 16 juillet 2002 consid. 1.1). Les mesures prévues aux art. 551 à 554 CC peuvent ainsi être prononcées par des autorités suisses sur la base de l'art. 89 LDIP (KARRER/VOGT/LEU, op. cit., N 17 ad Vorbem. art. 551-559 ZGB); en tant que mesures nécessaires à la protection provisionnelle des biens (ATF 122 III 213 consid. 4a p. 216), elles visent exclusivement à sauvegarder les valeurs patrimoniales, et non à assurer la dévolution de l'hérédité (KARRER/VOGT/LEU, op. cit., N 17 ad Vorbem. art. 551-559 ZGB; BUCHER, LDIP et CL, Commentaire romand, 2011, N 1 ad art. 89 LDIP; SCHNYDER/LIATOWITSCH, IPRG, Basler Kommentar, 2ème éd., 2007, N 3 ad art. 89 IPRG; HEINI, IPRG, Zürcher Kommentar, 2ème éd., 2004, N 1 ad art. 89 IPRG).
5.1.2 L'inventaire successoral au sens de l'art. 553 al. 1 CC est une mesure de sûreté à caractère provisoire ne réglant pas le fond du litige (ATF 94 II 55 consid. 2 p. 57 s.). Son établissement a pour but de déterminer la consistance du patrimoine du défunt à l'ouverture de la succession (KARRER/VOGT/LEU, op. cit., N 2 ad art. 553 ZGB; 551-559 ZGB; FRANK EMMEL, Erbrecht, Praxiskommentar, 2ème éd., 2011, N 1 ad art. 553 ZGB; PIOTET, op. cit., § 88 p. 625 in fine); l'inventaire de l'art. 553 CC a donc aussi une fonction de preuve et tend à assurer la dévolution de l'hérédité (arrêts 5A_686/2011 du 28 novembre 2011 consid. 2; 5P.400/1999 du 25 mai 2000 consid. 5; KARRER/VOGT/LEU, op. cit., N 2 ad Vorbem. art. 551-559 ZGB; PIOTET, op. cit., § 88 p. 623).
5.2 Dans le cas d'espèce, il ressort de l'arrêt entrepris que la mesure sollicitée a été requise le 4 avril 2011, à savoir plus de quinze mois après le décès, en sorte que l'on doit dénier à la mesure sollicitée son caractère conservatoire des valeurs patrimoniales. Les recourants, qui disposaient déjà d'un inventaire des acquêts des époux et des biens propres de la défunte, remis aux autorités espagnoles en juin 2010 (cf. supra let. B.c), ainsi que du procès-verbal des autorités fiscales genevoises ne faisant état d'aucun bien en Suisse (cf. supra let. B.a), cherchent en définitive à s'assurer qu'ils ont connaissance de l'ensemble des biens de leur mère leur revenant. Les recourants ont argué qu'ils existait, de leur point de vue, de "fortes probabilités" que la défunte soit titulaire ou co-titulaire de comptes en Suisse n'apparaissant pas dans l'inventaire fiscal des autorités genevoises. Les recourants ont ainsi sollicité une mesure ordonnant l'établissement d'un inventaire civil afin d'assurer la correcte et entière dévolution des biens de la défunte, également sur le territoire suisse. Une telle mesure n'entre pas dans le champ d'application de l'art. 89 LDIP puisqu'elle tend ici exclusivement à assurer la dévolution de la succession. Il s'ensuit que, faute de compétence des autorités suisses pour statuer sur la requête d'établissement d'un inventaire civil au sens de l'art. 553 al. 1 ch. 3 CC, celle-ci se révèle irrecevable. Le recours doit ainsi être rejeté, sans qu'il soit nécessaire d'examiner les autres griefs soulevés.
6. En définitive, le recours constitutionnel subsidiaire est irrecevable et le recours en matière civile est rejeté. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants qui succombent (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens à l'intimé qui n'a pas été invité à déposer une réponse (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, arrêtés à 3'000 fr., sont mis solidairement à la charge des recourants.
4. Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 21 juin 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Carlin