Faits: A. En 2004, A._, domicilié dans le canton de Genève, a réalisé un gain immobilier de 593'138 francs sur un immeuble sis dans le canton de Vaud. Cette transaction a fait l'objet de décisions de taxation par l'administration fiscale cantonale genevoise et par l'office d'impôt du district de B._ (VD), qui ont admis un gain professionnel. Le 12 octobre 2007, la Caisse cantonale vaudoise de compensation AVS (ci-après : la caisse) a rendu une décision par laquelle elle a fixé à 57'753 fr. 40 les cotisations personnelles AVS/AI/APG dues par A._ en raison du gain immobilier professionnel réalisé en 2004. Le même jour, elle a rendu une décision fixant à 8'037 fr. 35 les intérêts moratoires sur les cotisations. A._ s'est opposé aussi bien aux décisions des autorités fiscales qu'à celles de la caisse, en contestant être un professionnel de l'immobilier. Pour lui, les biens immobiliers faisaient partie de sa fortune privée et le prix de leur vente ne devait pas être considéré comme générant la perception de cotisations AVS personnelles (lettre du 23 octobre 2007). Par communication du 26 septembre 2012, l'administration fiscale cantonale genevoise a confirmé l'existence d'un revenu de 593'138 francs provenant d'un gain immobilier professionnel. Par décision sur opposition du 15 octobre 2012, la caisse a confirmé ses décisions du 12 octobre 2007. B. A._ a déféré la décision sur opposition du 15 octobre 2012 au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à son annulation. Par jugement du 8 janvier 2014, la juridiction cantonale a rejeté le recours et confirmé la décision du 15 octobre 2012. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut, sous suite de frais et dépens, à ce qu'il soit constaté que le gain immobilier réalisé en 2004 n'est pas soumis à cotisations AVS/AI/APG. La caisse intimée conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.