Faits: Faits: A. Par jugement du 25 juillet 2001, le Tribunal civil de l'arrondissement de X._ a prononcé le divorce des époux A._ et B._, mariés depuis le 14 septembre 1979. Sous chiffre IX du dispositif, il a décidé le partage par moitié de la prestation de sortie acquise par A._ durant le mariage. Une fois le jugement entré en force, le 27 août 2001, le dossier a été transmis au Tribunal des assurances du canton de Vaud comme objet de sa compétence. A. Par jugement du 25 juillet 2001, le Tribunal civil de l'arrondissement de X._ a prononcé le divorce des époux A._ et B._, mariés depuis le 14 septembre 1979. Sous chiffre IX du dispositif, il a décidé le partage par moitié de la prestation de sortie acquise par A._ durant le mariage. Une fois le jugement entré en force, le 27 août 2001, le dossier a été transmis au Tribunal des assurances du canton de Vaud comme objet de sa compétence. B. D'après les renseignements fournis par les institutions de prévoyance concernées, la prestation de sortie acquise par A._ durant le mariage auprès de la Fondation de la métallurgie vaudoise du bâtiment, section de Tolochenaz (ci-après: la FMVB), s'élevait à 134'481 fr. 10 en date de l'entrée en force du jugement de divorce. Par jugement du 27 octobre 2004, le Tribunal des assurances du canton de Vaud a ordonné à la FMVB de débiter le compte de libre passage de A._ de la somme de 67'240 fr. 55, avec intérêt compensatoire à 4 % dès le 27 août 2001, 3,25 % dès le 1er janvier 2003 et 2,25 % dès le 1er janvier 2004 jusqu'au jour du transfert ou de la demeure et de verser ce montant sur le compte de prévoyance de B._ auprès de la Banque Z._. Il a par ailleurs fixé à 2,5 % le taux de l'intérêt moratoire dû à partir du 31ème jour suivant l'entrée en force de son jugement. Par jugement du 27 octobre 2004, le Tribunal des assurances du canton de Vaud a ordonné à la FMVB de débiter le compte de libre passage de A._ de la somme de 67'240 fr. 55, avec intérêt compensatoire à 4 % dès le 27 août 2001, 3,25 % dès le 1er janvier 2003 et 2,25 % dès le 1er janvier 2004 jusqu'au jour du transfert ou de la demeure et de verser ce montant sur le compte de prévoyance de B._ auprès de la Banque Z._. Il a par ailleurs fixé à 2,5 % le taux de l'intérêt moratoire dû à partir du 31ème jour suivant l'entrée en force de son jugement. C. A._ interjette recours de droit administratif contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut, à titre principal, au versement d'un montant maximum de 20'000 fr. sur le compte de prévoyance de B._; subsidiairement, il requiert le renvoi de la cause à la juridiction cantonale pour instruction complémentaire et nouveau jugement. Sous suite de frais et dépens, B._ conclut au rejet du recours; elle requiert en outre le bénéfice de l'assistance judiciaire. La FMVB n'a pas déposé de conclusions, tandis que l'Office fédéral des assurances sociales a préavisé le rejet du recours.