Faits: A. A.a C._, née le 29 avril 1913, est décédée le 1er novembre 2007 à Y._, où elle était domiciliée, en ne laissant aucun héritier légal connu. L'essentiel de la fortune de la défunte consiste en des biens immobiliers sis sur la commune de D._. A.b Par testament public du 30 juillet 2002, C._ a légué aux époux A._ et B.X._ la parcelle n° 5697 ainsi que le feuillet 5698 n° 3 du registre foncier de la commune de D._. L'acte a été instrumenté par Me E._, en présence des témoins F._, clerc de Me E._, et G._, dont le nom a été transmis par les époux X._. A.c Dès le 9 juin 1997, C._ a été mise au bénéfice d'une curatelle volontaire, que nécessitait la dégradation de son état de santé. Me H._ lui a été désignée en qualité de curatrice. Le 13 janvier 2003, elle a été provisoirement interdite; son interdiction a ensuite été confirmée par ordonnance du 28 octobre 2003 du Tribunal tutélaire du canton de Genève. Le recours des époux X._ formé contre le prononcé de cette mesure a été déclaré irrecevable par arrêt du 4 mai 2004. De 1997 à 2003, la de cujus a été examinée à maintes reprises par différents médecins en vue de déterminer sa capacité de discernement. Différentes expertises ont été effectuées à cet effet: en octobre 2001, celle des Drs I._ et J._; en juillet 2002, celle du Dr K._ et de Mme L._; ainsi qu'en octobre 2002, celle du Prof. M._. A.d Le 18 mars 2009, Me H._, administratrice d'office de la succession, a informé les époux X._ de ce qu'aucun héritier légal n'avait été trouvé et que l'État de Genève serait, selon toute vraisemblance, désigné comme héritier. Elle leur a également remis une copie du bordereau de l'Administration fiscale du 16 mars 2009 les invitant à s'acquitter d'un montant de 1'879'752 fr au titre des droits de succession relatifs au legs consenti. Le délai de paiement a été prolongé à deux reprises et un rappel leur a finalement été adressé le 29 mars 2010. A.e Le 2 octobre 2009, les époux X._ ont sollicité de la part de l'État de Genève la délivrance du legs de la parcelle de D._. Le 2 novembre 2009, l'État de Genève les a informés qu'il avait accepté la succession puis, le 23 décembre 2009, qu'il n'entendait pas leur délivrer le legs pour le motif que la défunte n'était plus capable de discernement lors de l'établissement du testament public du 30 juillet 2002. A.f Le 19 février 2010, les époux X._ ont ouvert une action en délivrance du legs. Cette procédure a été suspendue le 12 novembre 2010. B. B.a Le 15 juillet 2010, l'État de Genève a agi devant le Tribunal de première instance du canton de Genève en annulation du legs. Par jugement du 26 mai 2011, ledit tribunal a annulé le legs constitué le 30 juillet 2002 en faveur des époux X._ et portant sur la parcelle n° 5697 et le feuillet 5698 n° 3 du registre foncier de la commune de D._. B.b Sur recours des époux X._, la Cour de justice du canton de Genève a confirmé ce jugement par arrêt du 26 janvier 2012. C. Le 2 mars 2012, A._ et B.X._ exercent un recours en matière civile contre cet arrêt concluant à son annulation et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Subsidiairement, ils concluent à ce que l'État de Genève soit débouté de sa demande en annulation du legs consenti par la de cujus par testament public du 30 juillet 2002. À l'appui de leurs conclusions, ils invoquent une violation des art. 2, 8, 16, 18, 467 et 571 al. 2 CC, de l'art. 29 al. 2 Cst., des art. 56, 59, 60, 404, 405 et 221 al. 1 let. e CPC, ainsi que l'arbitraire dans l'application du droit cantonal et dans l'établissement des faits. Ils se plaignent notamment d'avoir été privés de l'opportunité de prouver des faits allégués et offerts en preuve, de comparaître et d'être interrogés, de fournir des preuves et de participer à l'administration des preuves. Des réponses n'ont pas été requises.