Faits: Faits: A. Par décision du 18 mars 2002, l'Office de l'assurance-invalidité du canton de Fribourg (Office AI) a dénié à M._ le droit à une rente de l'assurance-invalidité, au motif que l'atteinte à la santé qu'il présentait n'entraînait qu'une invalidité de 15 %. A. Par décision du 18 mars 2002, l'Office de l'assurance-invalidité du canton de Fribourg (Office AI) a dénié à M._ le droit à une rente de l'assurance-invalidité, au motif que l'atteinte à la santé qu'il présentait n'entraînait qu'une invalidité de 15 %. B. Le 2 mai 2002, représenté par Me Bruno Kaufmann, M._ a interjeté recours devant le Tribunal administratif du canton de Fribourg, Cour des Assurances Sociales, contre cette décision et conclu, sous suite de dépens, au renvoi de la cause à l'Office AI pour instruction complémentaire. Dès le 3 avril 2003, Me Marc Butty a succédé à son confrère précité et produit, sans y avoir été invité, un mémoire complémentaire le 26 mai 2003. Par jugement du 18 juin 2003, le Tribunal administratif a rejeté le recours, tout en mettant M._ au bénéfice de l'assistance judiciaire gratuite et accordant une indemnité de partie à ses deux mandataires successifs. Saisi d'un recours contre ce jugement, le Tribunal fédéral des assurances l'a partiellement admis. Il a annulé la décision incriminée ainsi que le jugement litigieux et renvoyé la cause à l'Office AI pour instruction complémentaire au sens des motifs et nouvelle décision. Il a condamné l'administration à verser à M._ des dépens d'un montant de 2'500 fr. pour la procédure fédérale et enjoint le Tribunal administratif de statuer sur les dépens de la procédure de dernière instance (arrêt du 21 juillet 2004 dans la cause I 592/03). Saisi d'un recours contre ce jugement, le Tribunal fédéral des assurances l'a partiellement admis. Il a annulé la décision incriminée ainsi que le jugement litigieux et renvoyé la cause à l'Office AI pour instruction complémentaire au sens des motifs et nouvelle décision. Il a condamné l'administration à verser à M._ des dépens d'un montant de 2'500 fr. pour la procédure fédérale et enjoint le Tribunal administratif de statuer sur les dépens de la procédure de dernière instance (arrêt du 21 juillet 2004 dans la cause I 592/03). C. Par jugement du 22 septembre 2004, le Tribunal administratif a alloué une indemnité de partie à M._ d'un montant de 3'120 fr 40 comprenant 2'100 fr. plus 159 fr. 60 de TVA pour la défense exercée par Me Bruno Kaufmann et 800 fr. plus 60 fr. 80 de TVA pour celle exercée par Me Marc Butty, à la charge de l'Office AI. C. Par jugement du 22 septembre 2004, le Tribunal administratif a alloué une indemnité de partie à M._ d'un montant de 3'120 fr 40 comprenant 2'100 fr. plus 159 fr. 60 de TVA pour la défense exercée par Me Bruno Kaufmann et 800 fr. plus 60 fr. 80 de TVA pour celle exercée par Me Marc Butty, à la charge de l'Office AI. D. Par écriture du 29 octobre 2004, de Me Marc Butty, M._ interjette recours de droit administratif contre ce jugement dont il demande la rectification, sous suite de dépens, en ce sens que l'Office AI soit condamné à lui verser une indemnité de partie de 4'441 fr. 25 plus 337 fr. 55 de TVA (en sus des dépens de 2'100 fr. plus 159 fr. 60 de TVA alloués à Me Bruno Kaufmann). Subsidiairement, il sollicite l'octroi de l'assistance judiciaire gratuite pour la procédure fédérale.