Faits: A. Par jugement du 21 février 2008, la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg a rejeté la demande de prestations d'invalidité de la prévoyance professionnelle déposée le 11 juillet 2006 par T._ à l'encontre de la fondation Groupe Mutuel Prévoyance. Saisi par l'assuré d'un recours contre ce jugement, le Tribunal fédéral l'a annulé. Considérant que la fondation Groupe Mutuel Prévoyance était en principe tenue d'allouer ses prestations, il a renvoyé la cause à la juridiction cantonale pour qu'elle examine les autres aspects du droit aux prestations d'invalidité (arrêt 9C_335/2008 du 30 septembre 2008). B. A la suite de cet arrêt, la Cour des assurances sociales du Tribunal cantonal a repris l'instruction de la cause. Lors de l'échange d'écritures qui s'en est suivi, T._ a acquiescé aux propositions formulées par la fondation Groupe Mutuel Prévoyance quant aux montants des prestations dues et aux modalités de leur versement. Par jugement du 3 juin 2009, la juridiction cantonale a pris acte de l'accord intervenu entre les parties, constaté que la demande était devenue sans objet et rayé la cause du rôle. Elle a alloué à l'assuré une équitable indemnité de 3'012 fr. 80, TVA comprise, pour l'ensemble de la procédure cantonale à charge de la fondation Groupe Mutuel Prévoyance. C. T._ interjette un recours en matière de droit public contre ce jugement. Il conclut à son annulation et au renvoi de la cause à la Cour des assurances sociales du Tribunal cantonal pour nouvelle décision, en tant que le jugement porte sur le montant des dépens alloués pour l'ensemble de la procédure cantonale. Il demande que lui soient versés 2'000 fr. à titre de dépens pour la procédure fédérale. La fondation Groupe Mutuel Prévoyance conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. L'Office fédéral des assurances sociales a renoncé pour sa part à se déterminer.