Faits: A. La Fondation de prévoyance en faveur du personnel de X._ SA et des sociétés affiliées (la Fondation X._) a été inscrite au registre du commerce le 11 décembre 1985. Le 27 février 1992, le Service de la surveillance des fondations et des institutions de prévoyance professionnelle du canton de Fribourg a constaté que la Fondation X._ avait accordé des prêts qui dépassaient chacun la limite de 15 % par débiteur fixée par la loi; il l'a sommée de rétablir une situation conforme au droit. Les difficultés financières de la Fondation X._ ont abouti à sa mise en liquidation, par décision de l'Autorité de surveillance des fondations et des institutions de prévoyance professionnelle du canton de Fribourg du 30 juin 1998. Par décision du 17 novembre 2000, le Fonds de garantie LPP a versé la somme de 412'000 fr. au titre de garantie des prestations légales en faveur des collaborateurs de la Fondation X._, insolvable. B. Le 28 mars 2003, la Fondation X._ et le Fonds de garantie LPP ont saisi le Tribunal administratif du canton de Fribourg (aujourd'hui : Tribunal cantonal, Section administrative) d'une action en justice à l'encontre de O._ SA, en tant qu'ancien organe de contrôle de la fondation, en réparation du dommage causé. Le 3 février 2004, la Fondation X._ et le Fonds de garantie LPP ont également ouvert une action à l'encontre de C._ et de D._, en qualité d'anciens gestionnaires de la fondation. Les prétentions de la Fondation X._ se sont élevées à 457'163 fr. 45 à l'encontre de l'ancien organe de révision et à 459'913 fr. 20 envers les anciens gestionnaires, avec intérêts; quant au Fonds de garantie LPP, il a réclamé aux défendeurs la somme de 412'000 fr., avec intérêts. En cours d'instance, le 4 août 2004, les conclusions des demandeurs ont été réduites de 140'000 fr. Les défendeurs ont conclu au rejet des demandes. Par jugement du 8 novembre 2007, le tribunal administratif, après avoir joint les causes, a débouté les demandeurs pour cause de prescription. C. La Fondation X._ et le Fonds de garantie LPP interjettent conjointement un recours en matière de droit public contre ce jugement dont ils demandent l'annulation, en concluant à ce qu'il soit constaté que les actions intentées par eux les 28 mars 2003 et 3 février 2004 ne sont pas atteintes par la prescription, ainsi qu'au renvoi de la cause au Tribunal administratif du canton de Fribourg afin qu'il statue sur les prétentions formées à l'encontre de O._ SA et de C._ et D._. Les recourants concluent à la condamnation des intimés aux frais judiciaires ainsi qu'au versement d'une indemnité de dépens de 12'000 fr. Avec suite de frais et dépens, les intimés concluent d'une part à l'admission du recours de la Fondation X._ dans la mesure où la demande a été rejetée pour cause de prescription, d'autre part au rejet du recours du Fonds de garantie LPP. L'Office fédéral des assurances sociales a renoncé à se déterminer.