Faits: Faits: A. Par écriture du 28 octobre 2003, G._ a ouvert une action devant le Tribunal administratif du canton de Fribourg, contre son ex-employeur, B._ SA. Il lui reprochait de ne pas avoir respecté l'art. 51 LPP, relatif à la gestion paritaire dans les organes de l'institution de prévoyance auprès de laquelle la société était affiliée, à savoir Servisa, Fondation collective des Banques Cantonales. Pour ce motif, il contestait «toutes les décisions, y compris les décisions financières prises dans le cadre de la Commission de gestion paritaire, qui n'en est pas une au sens juridique, depuis (son) entrée dans la caisse le 1er mars 1996». Il concluait à ce que l'employeur lui rétrocède, sur son compte de prévoyance, «la somme de la différence des intérêts réellement réalisés moins la somme des intérêts qui avaient été réellement versés, ceci pendant toute la durée de (son) affiliation à cette caisse de prévoyance, vu que les sommes qui ont été ponctionnées pour couvrir autre chose que les intérêts l'ont été sans l'accord de l'ensemble du personnel». Comme son contrat de travail avait été résilié au 31 janvier 2003, il réclamait, au titre de dommages et intérêts «la somme manquante actuellement dans (son) actuel fonds de prévoyance». Invité par le président du tribunal à préciser les motifs et conclusions de sa demande, G._ a pris les conclusions suivantes: 1. Que la défenderesse B._ me rétrocède, sur mon compte de prévoyance actuel, la somme de la différence des intérêts réellement réalisés moins la somme des intérêts qui m'a été réellement versée, depuis mon affiliation au 1er mars 1996 jusqu'à mon congé le 31 décembre 2002, vu que les sommes qui ont été ponctionnées pour couvrir autre chose que les intérêts l'ont été sans l'accord de l'ensemble du personnel. 2. Comme mon contrat de travail a été résilié au 31 janvier 2003 (...), je réclame comme dommage la somme manquante actuellement dans mon actuel fonds de prévoyance, somme que je vous indiquerai le moment utile (...). 3. Partie de la déduction sur la somme allouée par le Tribunal des Prud'hommes. 3. Partie de la déduction sur la somme allouée par le Tribunal des Prud'hommes. B. Statuant le 24 mars 2004, le tribunal administratif a déclaré l'action irrecevable, au motif que le litige ne relevait pas de la compétence des autorités juridictionnelles prévue par l'art. 73 LPP. B. Statuant le 24 mars 2004, le tribunal administratif a déclaré l'action irrecevable, au motif que le litige ne relevait pas de la compétence des autorités juridictionnelles prévue par l'art. 73 LPP. C. L'Office fédéral des assurances sociales interjette un recours de droit administratif en concluant à l'annulation de ce jugement et au renvoi de la cause au Tribunal administratif du canton de Fribourg pour qu'il statue sur le fond. B._ SA conclut, sous suite de dépens, au rejet du recours. Quant à G._, il confirme ses conclusions dans la mesure où elles portent sur le «non-respect de la déduction de la cotisation LPP sur la somme de 5'000 fr. brut correspondant à la prolongation de mon contrat de travail pour janvier 2003, selon jugement du Tribunal des Prud'hommes du 4 juin 2003».