Faits:
A.
En 2004, A._, domicilié dans le canton de Genève, a réalisé un gain immobilier de 593'138 francs sur un immeuble sis dans le canton de Vaud. Cette transaction a fait l'objet de décisions de taxation par l'administration fiscale cantonale genevoise et par l'office d'impôt du district de B._ (VD), qui ont admis un gain professionnel.
Le 12 octobre 2007, la Caisse cantonale vaudoise de compensation AVS (ci-après : la caisse) a rendu une décision par laquelle elle a fixé à 57'753 fr. 40 les cotisations personnelles AVS/AI/APG dues par A._ en raison du gain immobilier professionnel réalisé en 2004. Le même jour, elle a rendu une décision fixant à 8'037 fr. 35 les intérêts moratoires sur les cotisations.
A._ s'est opposé aussi bien aux décisions des autorités fiscales qu'à celles de la caisse, en contestant être un professionnel de l'immobilier. Pour lui, les biens immobiliers faisaient partie de sa fortune privée et le prix de leur vente ne devait pas être considéré comme générant la perception de cotisations AVS personnelles (lettre du 23 octobre 2007).
Par communication du 26 septembre 2012, l'administration fiscale cantonale genevoise a confirmé l'existence d'un revenu de 593'138 francs provenant d'un gain immobilier professionnel.
Par décision sur opposition du 15 octobre 2012, la caisse a confirmé ses décisions du 12 octobre 2007.
B.
A._ a déféré la décision sur opposition du 15 octobre 2012 au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à son annulation.
Par jugement du 8 janvier 2014, la juridiction cantonale a rejeté le recours et confirmé la décision du 15 octobre 2012.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut, sous suite de frais et dépens, à ce qu'il soit constaté que le gain immobilier réalisé en 2004 n'est pas soumis à cotisations AVS/AI/APG.
La caisse intimée conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération (cf. <ref-law>).
2.
Le recourant fait valoir que l'immeuble aliéné faisait partie de sa fortune privée, de sorte que le gain en capital réalisé grâce à sa vente ne doit pas être considéré comme un revenu d'une activité indépendante. Ce faisant, il reproche à la juridiction cantonale d'avoir suivi l'appréciation des autorités fiscales genevoise et vaudoise sans administrer les preuves nécessaires.
3.
3.1. Le revenu d'une activité indépendante est défini à l'<ref-law>. Cette disposition reprend les termes de l'<ref-law> et renvoie à l'<ref-law> pour ce qui est des bénéfices en capital et des bénéfices réalisés lors du transfert d'éléments de fortune et à l'<ref-law> pour les bénéfices provenant de l'aliénation d'immeubles agricoles ou sylvicoles. L'<ref-law> formalise une harmonisation entre le droit de l'AVS et le droit fiscal sur la notion de revenu d'une activité indépendante. Ainsi, tous les revenus d'une activité indépendante soumis à l'impôt fédéral direct sont en principe également soumis à cotisations.
Dans ce cadre, l'<ref-law>, en relation avec l'<ref-law>, prévoit que le revenu provenant d'une activité indépendante est déterminé par les autorités fiscales cantonales en se fondant sur la taxation passée en force de l'impôt fédéral direct. Les données des autorités fiscales cantonales lient les caisses de compensation (<ref-law>). Le caractère obligatoire de ces données ne concerne que la fixation du revenu déterminant et n'englobe donc pas la question de savoir si et dans quelle mesure celui-ci est soumis à cotisations (<ref-ruling> consid. 2c). Dès lors, les caisses de compensation, sans être liées par la communication fiscale, doivent examiner au regard du droit de l'AVS qui est tenu de payer des cotisations pour des revenus dont l'autorité fiscale a fait état. Toutefois, les caisses de compensation doivent en général se fier aux communications des autorités fiscales pour la qualification du revenu et ne procéder à leurs propres investigations que lorsqu'il y a des doutes sérieux quant à leur exactitude (<ref-ruling> consid. 3.3 p. 253 s. et les arrêts cités).
3.2. Selon la jurisprudence, la distinction entre un gain privé en capital (non imposable sur le revenu) ou un bénéfice commercial en capital provenant de l'exercice d'une activité lucrative indépendante (imposable sur le revenu), dépend des circonstances concrètes du cas (cf. arrêts 2C_349/2009 du 16 novembre 2009 consid. 4.1.2; 2C_893/2008 du 10 août 2009 consid. 2.2). La notion d'activité lucrative indépendante s'interprète toutefois largement, de telle sorte que sont seuls considérés comme des gains privés en capital exonérés d'impôt ceux qui sont obtenus par un particulier de manière fortuite ou dans le cadre de la simple administration de sa fortune privée. En revanche, si l'activité du contribuable excède ce cadre relativement étroit et est orientée dans son ensemble vers l'obtention d'un revenu, l'intéressé est réputé exercer une activité lucrative indépendante dont les bénéfices en capital sont imposables. Une telle qualification peut se justifier, selon les cas, même en l'absence d'une activité reconnaissable pour les tiers et/ou organisée sur le modèle d'une entreprise commerciale, et même si l'activité n'est exercée que de manière accessoire ou temporaire, voire même ponctuelle. Les éléments patrimoniaux utilisés pour l'accomplissement d'une activité lucrative indépendante sont pour leur part considérés comme des actifs commerciaux (cf. <ref-ruling> consid. 6c/bb p. 126 s.).
C'est avant tout en lien avec les transactions effectuées par les particuliers sur des immeubles ou sur des titres que la jurisprudence a été amenée à dégager des critères permettant de tracer la limite entre les gains (privés) en capital et les bénéfices (commerciaux) en capital (arrêt 2C_893/2008 du 10 août 2009 consid. 2.2). Elle a notamment considéré que valent comme indices d'une activité lucrative indépendante dépassant la simple administration de la fortune privée les éléments suivants: le caractère systématique et/ou planifié des opérations, la fréquence élevée des transactions, la courte durée de possession des biens avant leur (re) vente, la relation étroite entre l'activité indépendante (accessoire) supposée et la formation et/ou la profession (principale) du contribuable, l'utilisation de connaissances spécialisées, l'engagement de fonds étrangers d'une certaine importance pour financer les opérations, le réinvestissement du bénéfice réalisé ou encore la constitution d'une société de personnes. On peut aussi mentionner l'utilisation effective du bien et le motif de son aliénation. Chacun de ces indices peut conduire, en concours avec les autres voire même - exceptionnellement - isolément s'il revêt une intensité particulière, à la reconnaissance d'une activité lucrative indépendante. En outre, l'absence d'éléments typiques d'une telle activité dans un cas concret peut être relativisée par d'autres circonstances revêtant une intensité particulière (cf. <ref-ruling> consid. 3c p. 118 et 6a p. 124 ; arrêt 2C_893/2008 du 10 août 2009 consid. 2.2). En tout état, les circonstances concrètes du cas sont déterminantes, telles qu'elles se présentent au moment de l'aliénation (arrêts 2C_455/2011 et 2C_456/2011 du 5 avril 2012 consid. 5.1 et les références citées).
4.
4.1. En l'espèce, les décisions des autorités fiscales, dont le recourant ne prétend pas qu'elles ne seraient pas entrées en force, ont retenu l'existence d'un gain immobilier professionnel.
4.2. Conformément à la jurisprudence rappelée ci-dessus (consid. 3.1), la caisse ne devait procéder à un nouvel examen du cas que si elle avait des doutes sérieux quant à l'exactitude de l'appréciation des autorités fiscales.
4.3. Le recourant a toujours prétendu tant devant les autorités fiscales qu'en procédures cantonale et fédérale, que comme particulier n'exerçant pas une activité dans l'immobilier et comme administrateur d'une société qui n'a jamais eu d'activités dans ce domaine, il pouvait décider d'acquérir un bien immobilier dans n'importe quelle région plutôt que de placer sa fortune en banque, ceci dans l'optique d'une gestion raisonnée de ses avoirs personnels. De même, le recourant a considéré que le fait de rentabiliser sa fortune personnelle en achetant, avec d'autres partenaires, un terrain susceptible d'être déclassé, ne permettait pas d'admettre sans autre qu'il s'agissait d'une activité professionnelle, ce d'autant plus que cette opération était unique, il n'avait jamais réalisé de bénéfices immobiliers ni avant ni après 2004.
4.4. La juridiction cantonale semble avoir admis comme établi que ni le recourant ni sa société n'avait déjà participé par le passé à d'autres activités d'achat et de vente d'immeubles. Il faut donc retenir que le gain immobilier réalisé en 2004 est unique.
Le fait que le bien immobilier acquis par le recourant se trouve dans une région où le propriétaire n'avait pas l'intention de résider ou de construire n'est en soi pas déterminant car un placement de fortune privée peut intervenir sur n'importe quel type de biens et n'importe où.
La juridiction cantonale a retenu que le recourant avait « fait affaire commune avec trois autres personnes » et en a déduit que c'était plutôt inhabituel dans le cadre privé pour un placement. Concernant le prix d'achat du terrain et ses conditions, elle s'est limitée à préciser qu'il « aurait été de un million de francs » et que le recourant « aurait contribué à hauteur de 400'000 francs ». Ces faits ne sont corroborés par aucun élément du dossier. Il est donc impossible de savoir si on est en présence d'une activité planifiée. De plus, le domaine d'activités des autres acquéreurs n'est pas connu, ce qui ne permet pas non plus de définir dans quel cadre l'achat a eu lieu. De plus, malgré le fait que le recourant a toujours prétendu qu'il avait investi sa fortune privée dans l'opération, la juridiction cantonale n'a pas abordé cette question et n'a fait aucune investigation à ce sujet alors même que le dossier ne contenait aucun renseignement. De même, il n'y a aucune référence aux fonds propres investis, respectivement aux fonds empruntés, par le recourant. Enfin, il n'y a pas d'indication sur l'utilisation faite du gain immobilier.
Dans ces circonstances, il faut admettre que ni l'intimée ni la juridiction cantonale ne disposaient d'éléments de fait suffisants pour étayer leur décision. L'absence de ces éléments de fait rend impossible l'examen des doutes sérieux à avoir sur l'appréciation des autorités fiscales. La juridiction cantonale a dès lors violé le droit fédéral en statuant sur la base d'un état de fait lacunaire.
Il y a donc lieu d'admettre le recours et de retourner l'affaire à l'intimée pour qu'elle complète l'instruction du cas afin de pouvoir l'examiner au regard de tous les critères retenus par la jurisprudence.
5.
Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de l'intimée qui succombe (<ref-law>). Le recourant, assisté par un avocat, a droit à une indemnité de dépens pour les instances fédérale (<ref-law>) et cantonale (art. 61 let. g LPGA).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis en ce sens que le jugement de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud du 8 janvier 2014 et la décision de la Caisse cantonale vaudoise de compensation du 15 octobre 2012 sont annulés, la cause étant renvoyée à celle-ci pour instruction complémentaire et nouvelle décision.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant la somme de 2'800 fr., y compris la taxe à la valeur ajoutée, à titre de dépens pour l'instance fédérale.
4.
Le dossier est renvoyé à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud pour nouvelle décision sur les dépens de la procédure cantonale.
5.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 31 juillet 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Berthoud