Faits: A. A.a William Ossipow, professeur de sciences politiques à l'Université de Genève et d'ascendance juive par sa mère, a rédigé, sous le titre « La question israélienne et le refus du dernier mot », la préface d'un ouvrage collectif publié en 2005 sous sa direction et avec le soutien de l'Université de Genève, intitulé « Israël et l'autre ». Il y a notamment écrit que: « En devenant très consciemment l'Etat juif, Israël réunit sur ses épaules le poids de toutes ces questions qui explicitent la question juive de base.[...] L'identification d'Israël au judaïsme redouble toute activité politique, diplomatique, militaire en test, en examen de passage du judaïsme: voyons donc comment [...]. Dans ces conditions, il est parfaitement vain de considérer qu'Israël est un Etat comme les autres : ses mains sont liées par la définition qu'il s'est donné lui-même. Quant Israël s'expose sur la scène internationale, c'est bien le judaïsme qui s'expose en même temps. », et que: « Dans le domaine de la politique également, il est peu d'exemples aussi impressionnants [...] d'un Etat qui assume si pleinement la morale des "mains sales" [...].». A.b Maurice Stroun, docteur en biologie et passionné d'histoire, est membre de la CICAD (Coordination intercommunautaire contre l'antisémitisme et la diffamation), association créée en 1990 dans le but de lutter contre toute forme d'antisémitisme en Suisse romande, en particulier de défendre l'image d'Israël lorsqu'elle est diffamée. A propos de l'ouvrage susmentionné « Israël et l'autre », Maurice Stroun a rédigé deux articles, de contenu quasi identique. L'un a été publié dans la Newsletter n° 115 de la CICAD diffusée sur le site internet de cette dernière le 28 novembre 2005, l'autre dans les « Cahiers Bernard Lazare » du 11 mars 2006. Dans son premier article, Maurice Stroun s'est exprimé ainsi: « ... les arguments politiques, ou juridiques, utilisés par certains auteurs partent d'un apriori négatif envers l'état hébreu. Quant à la préface écrite par le professeur Ossipow (qui enseigne la théorie politique à l'Université de Genève), certains de ses propos glissent carrément vers l'antisémitisme. En voici un exemple: ...», que Maurice Stroun voit notamment dans le premier passage susmentionné (« En devenant ... »). Dans son second article, il a affirmé que «L'ouvrage "Israël et l'autre" qui vient de paraître représente, selon moi, l'exemple même de l'anti-israélisme actuellement admis par une certaine intelligentsia. Dans sa préface, le professeur Ossipow (Université de Genève) va plus loin pour déboucher sur l'antisémitisme même. », et de citer ici notamment le second passage susmentionné (« Dans le domaine ... »). A.c S'étant senti atteint dans son honneur par ces affirmations, William Ossipow y a répondu dans la Newsletter de la CICAD du 18 janvier 2006. Puis, le 11 juillet 2006, il a ouvert action devant le Tribunal de première instance de Genève contre la CICAD et Maurice Stroun pour atteinte illicite à sa personnalité (art. 28 ss CC). B. Par jugement du 31 mai 2007, le Tribunal de première instance a ordonné aux défendeurs de retirer du site internet de la CICAD, dans les 10 jours, l'article de Maurice Stroun publié dans la Newsletter du 28 novembre 2005. Il a en outre constaté le caractère illicite de l'atteinte portée au demandeur par l'article en question et a enjoint aux défendeurs d'insérer/publier, à leurs frais et selon des modalités précises, les considérants dudit jugement sur le site internet concerné ainsi que dans la plus prochaine édition de la Newsletter de la CICAD et de la « Revue juive ». Statuant le 21 décembre 2007 sur appel des défendeurs, la Cour de justice du canton de Genève a confirmé le jugement de première instance, tout en précisant que l'obligation de publication devait porter sur les considérants déterminants de son propre arrêt. C. Contre l'arrêt de la Cour de justice, qui leur a été notifié le 24 décembre 2007, les défendeurs ont interjeté, le 31 janvier 2008, un recours en matière civile au Tribunal fédéral. Ils contestent avoir porté une atteinte illicite aux droits de la personnalité du demandeur (ci-après: intimé) et invoquent donc la violation de l'art. 28 CC. Ils reprochent également à l'autorité cantonale d'avoir établi les faits de façon manifestement inexacte au sens de l'art. 97 al. 1 LTF, partant d'avoir violé l'interdiction de l'arbitraire (art. 9 Cst.) et les garanties générales de procédure (art. 29 Cst.). Ils concluent principalement à l'annulation de l'arrêt attaqué et à sa réforme en ce sens que les conclusions du demandeur sont rejetées, subsidiairement au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. L'intimé conclut au rejet du recours et à la confirmation de l'arrêt attaqué. La cour cantonale se réfère aux considérants de sa décision. Par ordonnance du 14 février 2008, le Président de la IIe Cour de droit civil a admis la requête d'effet suspensif présentée par les recourants.