Citation: H 159/03 23.03.2004 E. C

S.________ interjette recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci. A titre principal, il demande à être condamné « à payer en lieu et place de la somme de Fr. 59'031.80, une somme n'excédant pas Fr. 19'832.95 ou telle somme à dire de justice n'excédant pas Fr. 39'665.90 ». A titre subsidiaire, il sollicite le renvoi de la cause au Tribunal des assurances du canton de Vaud pour qu'il statue à nouveau dans le sens des considérants. La Caisse cantonale vaudoise de compensation conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales a renoncé à se déterminer.