Faits:
A.
Par acte authentique du 19 juin 1987, la société A._ SA a constitué une fondation de droit suisse dénommée "Fonds de secours patronal en faveur du personnel de A._ SA" (ci-après: la fondation). Celle-ci avait pour but d'apporter une aide aux membres du personnel de la fondatrice, éventuellement à leur famille, pour faire face aux conséquences économiques résultant de la vieillesse, de l'invalidité, de la maladie, des accidents, du chômage, du service militaire, de la détresse et du décès. Son conseil de fondation était composé de B._ (qui est décédé en 2005) et D._.
Par décision du 24 juillet 2007, l'Autorité de surveillance des fonda-tions du canton de Vaud a constaté la dissolution de la fondation et ordonné sa liquidation. Elle a également nommé la société E._ SA, organe de révision de la fondation, en qualité de liquidatrice, avant de la démettre de cette fonction par décision du 24 novembre 2009.
B.
Par demande datée du 15 juin 2012, le Fonds de secours patronal en faveur du personnel de A._ SA en liquidation a ouvert action contre l'hoirie de B._, soit C._, ainsi que contre D._ et E._ SA, devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Il a conclu à ce que les défendeurs, tous pris solidairement et conjointement, soient condamnés à lui payer la somme de 801'614 fr. 50 avec intérêts à 5 % à partir de la date de la demande, à titre de prestations versées indûment par les organes de la fondation à des tiers non bénéficiaires, d'intérêts et de frais de mandataires. Par jugement du 18 décembre 2013, la Cour des assurances sociales du Tribunal cantonal vaudois a décliné sa compétence et déclaré irrecevable la demande du 15 juin 2012.
C.
Le Fonds de secours patronal en faveur du personnel de A._ SA en liquidation interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il en demande la réforme en ce sens que la compétence de la Cour des assurances sociales du Tribunal cantonal vaudois est donnée.
L'hoirie de B._, D._ et E._ SA concluent tous trois au rejet du recours.

Considérant en droit:
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2.
2.1. Le litige porte sur le point de savoir si c'est à bon droit que la juridiction cantonale n'est pas entrée en matière sur l'action en responsabilité interjetée par le recourant à l'encontre des intimés et fondée sur l'<ref-law>.
2.2. Le jugement entrepris expose de manière complète les règles légales et jurisprudentielles sur la compétence ratione materiae des tribunaux cantonaux en matière de prévoyance professionnelle, ainsi que sur la responsabilité des personnes chargées de l'administration, de la gestion ou du contrôle d'une institution de prévoyance. Il rappelle également la jurisprudence sur les caractéristiques des fondations patronales de prévoyance en faveur du personnel relatives au financement exclusif par l'entreprise ou d'autres sources (mais non par les employés) et à la nature discrétionnaire des prestations allouées (cf. <ref-ruling> consid. 3.1.1 p. 348). Il reprend aussi en partie la teneur de l'<ref-law> qui s'applique aux institutions de prévoyance en faveur du personnel (non enregistrées au sens de l'<ref-law>) constituées sous forme de fondations, l'al. 6 de la disposition renvoyant à certaines règles de la LPP, en particulier sur la responsabilité (ch. 6; <ref-law>) et le contentieux (ch. 19; art. 73 et 74 LPP). Il suffit d'y renvoyer.
3.
3.1. Se fondant sur l'acte constitutif du 19 juin 1987 et les statuts du Fonds de secours patronal en faveur du personnel de A._ SA, l'autorité judiciaire de première instance a constaté que le conseil de fondation disposait d'une totale liberté et d'une importante marge d'appréciation pour décider de la manière et du moment auquel les prestations devaient être accordées aux bénéficiaires, son pouvoir étant d'autant plus discrétionnaire qu'il n'existait pas de réglementation spécifique relative au mode ou au calcul de l'attribution des prestations. Le but de la fondation allait par ailleurs bien au-delà des cas de prévoyance prévus par la LPP, puisqu'il concernait outre la vieillesse, l'invalidité et le décès, également la maladie, le chômage, le service militaire et la détresse. Quant au financement des prestations, dont l'octroi se faisait de manière discrétionnaire, examinées au cas par cas sans que les bénéficiaires ne pussent déduire un droit à celles-ci, il reposait sur des versements de la fondatrice ou de tiers, à l'exclusion absolue de toute contribution des bénéficiaires. Les premiers juges en ont déduit que le recourant était une fondation de nature purement patrimoniale au sens du CC. Se référant à l'<ref-ruling>, dont ils ont tiré que les fondations purement patrimoniales au sens des <ref-law> n'entraient pas dans le champ d'application de l'<ref-law>, ils ont en conséquence nié leur compétence et conclu que la cause qui leur était soumise ressortissait aux tribunaux ordinaires, soit à la Chambre patrimoniale cantonale.
3.2.
3.2.1. Le recourant ne conteste pas la qualité de fondation patronale du Fonds de secours patronal en faveur du personnel de A._ SA (en liquidation), ce qui implique, par définition, que la fondation allouait uniquement des prestations discrétionnaires, soit des prestations que les bénéficiaires ne pouvaient pas exiger en vertu d'un droit légal ou réglementaire, mais qui étaient versées au cas par cas, en dehors de tout plan établi, en fonction de l'appréciation du conseil de fondation. Il ressort par ailleurs des constatations de la juridiction cantonale en relation avec le but de la fondation qu'il s'agissait de prestations discrétionnaires octroyées en rapport avec les risques de vieillesse, survivants et invalidité en parallèle avec d'autres situations, soit la maladie, le chômage, le service militaire et la détresse.
3.2.2. Le recourant fait valoir que la juridiction cantonale se serait livrée à une "lecture incomplète et subjective" de l'<ref-ruling>. Selon lui, la compétence des tribunaux des assurances sociales est donnée en l'occurrence, parce que la fondation ne constitue pas une "pure fondation de fortune au sens de l'art. 80 à 89 CC" en raison du lien entre ses prestations et des prestations de prévoyance. Par ailleurs, les tribunaux cantonaux en matière de prévoyance professionnelle seraient logiquement compétents pour se prononcer sur la violation des principes d'adéquation, d'égalité de traitement et de collectivité, ainsi que de planification (<ref-law> et 1 à 1h de l'ordonnance sur la prévoyance professionnelle vieillesse, survivants et invalidité [RS 831.441.1; OPP2]) qui n'auraient pas été respectés par les membres du conseil de fondation (même si l'ensemble de ces principes ne serait pas directement applicable aux fonds patronaux de bienfaisance).
3.3. En substance, les intimés invoquent l'<ref-ruling> et la qualité de fondation purement patrimoniale de la fondation recourante pour en déduire que le tribunal cantonal des assurances sociales n'est pas compétent pour trancher le litige qui les oppose au recourant.
4.
4.1. L'<ref-law> soumet les fondations de prévoyance en faveur du personnel dont l'activité s'étend au domaine de la prévoyance vieillesse, survivants et invalidité - indépendamment de leur enregistrement au sens de l'<ref-law> - aux dispositions de la LPP qui sont citées aux chiffres 1 à 23. Dans son arrêt de principe publié in <ref-ruling>, le Tribunal fédéral a jugé que l'<ref-law> (alors <ref-law>) ne s'applique pas directement aux fonds patronaux de bienfaisance (sur les caractéristiques de tels fonds, <ref-ruling> consid. 3.1.1 p. 348 s. et les références). Ceux-ci ne sont toutefois pas exclus du champ d'application de cette disposition, même si une application de manière globale et stricte du catalogue des normes de la LPP énumérées n'est pas envisageable; l'application par analogie de l'<ref-law> aux fonds patronaux de bienfaisance n'entre en considération que lorsque, et dans la seule mesure où, les normes de la LPP sont compatibles avec le caractère de ces fondations (arrêt cité consid. 4.5 p. 354 s.).
Dans l'<ref-ruling>, le Tribunal fédéral a avant tout examiné si la liquidation partielle d'un fonds patronal de bienfaisance selon l'<ref-law> (auquel renvoie l'<ref-law>) est applicable par analogie à ce type de fondation, en répondant par l'affirmative à cette question. Il a cependant également retenu que le renvoi du ch. 19 aux règles sur le contentieux, singulièrement à l'<ref-law> (sur le recours contre les décisions de l'autorité chargée de surveiller les institutions de prévoyance et les institutions servant à la prévoyance devant le Tribunal administratif fédéral), est applicable aux fonds patronaux de bienfaisance, le lien étroit entre ceux-ci et la prévoyance professionnelle étant déterminant pour l'examen juridique de l'admissibilité et de l'adéquation des mesures. Ce nonobstant, le Tribunal fédéral a précisé que, comme jusqu'alors et conformément à la jurisprudence maintenue après l'entrée en vigueur de la 1 ère révision de la LPP, les tribunaux cantonaux en matière de prévoyance professionnelle ne sont pas compétents pour les contestations avec des fonds patronaux de bienfaisance qui allouent des prestations purement discrétionnaires, c'est-à-dire des prestations ne relevant pas d'une obligation juridique, et dont le financement ne repose pas sur les contributions des destinataires. Sous cet angle, les fonds patronaux de bienfaisance correspondent à de pures fondations patrimoniales au sens des art. 80 à 89 CC. Dans cette mesure, la 1 ère révision de la LPP n'a en principe apporté aucune nouveauté (<ref-ruling> consid. 4.6 p. 355). Si deux arrêts ultérieurs (<ref-ruling> consid. 2 p. 422 et 502 consid. 6.1 p. 507) mentionnent de façon générale l'application par analogie des dispositions de la prévoyance professionnelle sur les voies de droit (<ref-law> qui renvoie aux art. 73 et 74 LPP) aux fonds patronaux de bienfaisance, il n'en demeure pas moins que le Tribunal fédéral a mis en évidence - par le renvoi explicite au consid. 4.2 de l'<ref-ruling> - la nécessité de faire une différence, sous l'angle de la compétence du juge, entre les contestations en matière de surveillance et d'autres "contestations avec des fonds patronaux de bienfaisance".
4.2. Comme l'a retenu la juridiction cantonale, la demande en justice intentée par le recourant ne concerne pas une décision formelle de l'autorité de surveillance (par exemple sur l'obligation d'adopter un règlement relatif à la liquidation partielle de la fondation, objet de la procédure ayant abouti à l'<ref-ruling>), pour l'examen de laquelle le Tribunal administratif fédéral serait compétent en vertu de l'<ref-law>, également en relation avec les fonds patronaux de bienfaisance (<ref-ruling> consid. 4.6 p. 355). La demande relève d'une action en responsabilité des membres du conseil de fondation et de l'organe de révision. Le recourant a fondé son action en paiement sur l'<ref-law> à l'encontre des anciens membres du conseil de fondation (et leur succession) et sur l'<ref-law> par renvoi de l'<ref-law> à l'encontre de l'ancien organe de révision.
4.2.1. Selon l'<ref-law>, les personnes chargées de l'administration, de la gestion ou du contrôle de l'institution de prévoyance répondent du dommage qu'elles lui causent intentionnellement ou par négligence; une négligence même légère suffit (<ref-ruling> consid. 4e p. 132). Cette norme de responsabilité, qui est applicable indépendamment de la forme juridique de l'institution de prévoyance (<ref-law>), accorde à l'institution de prévoyance lésée un droit direct à l'encontre des organes, formels ou de fait, de l'institution de prévoyance (<ref-ruling> consid. 4a p. 127). Le point de savoir si un organe a manqué fautivement à ses devoirs dépend des responsabilités et des compétences qui lui ont été confiées par l'institution (<ref-ruling> consid. 3a p. 202). Les attributions d'un organe peuvent découler de la loi et de ses ordonnances d'exécution, de l'acte de fondation et de ses règlements, des décisions du conseil de fondation, d'un rapport contractuel ou encore des directives de l'autorité de surveillance (<ref-ruling> consid. 4d p. 129).
4.2.2. Dans un sens large, l'<ref-law> fait partie des règles sur l'administration de l'institution de prévoyance, respectivement de la fondation, dont traitent également les dispositions sur l'intégrité et la loyauté des responsables, les actes juridiques passés avec des personnes morales et les conflits d'intérêt (art. 51b, 51cet 53a LPP), ainsi que sur l'administration de la fortune (<ref-law>) (Christina Ruggli-Wüest, Wohlfartsfonds heute: Ein Auslaufmodell, oder ...?, in BVG-Tagung 2009: Aktuelle Fragen der beruflichen Vorsorge, 2009, p. 166). À cet égard, les règles sur l'administration de la fortune - cf. art. 49 à 58 OPP 2 sur le placement de la fortune, dont l'application par analogie aux fonds patronaux est expressément prévue par l'art. 59 let. b OPP 2 - s'appliquent par analogie aux fonds patronaux de prévoyance, mais doivent être interprétées de manière large dans ce cadre (<ref-ruling> sur l'application par analogie aux fonds patronaux de bienfaisance de l'<ref-law> et 71 LPP; <ref-ruling> consid. 6.1).
Dès lors que les règles sur l'administration de la fortune s'appliquent par analogie aux fonds patronaux de prévoyance et que les organes de ceux-ci sont donc tenus de respecter (par analogie) des prescriptions de la prévoyance professionnelle en la matière, il se justifie de leur appliquer également par analogie, par le renvoi de l'<ref-law>, l'<ref-law> en matière de responsabilité (Hans Michael Riemer, Die patronalen Wohlfahrtsfonds nach der 1. BVG-Revision, RSAS 2007 p. 552; cf. aussi Christina Ruggli-Wüest, op. cit. p. 168). Cette règle de la LPP n'apparaît par ailleurs pas incompatible avec le caractère de ces fondations. On relèvera en outre que c'est aussi la solution proposée par la Commission de la sécurité sociale et de la santé publique du Conseil national relative à l'initiative parlementaire "Permettre aux fonds de bienfaisance de jouer leur rôle" (11.457). Cette commission s'est en effet prononcée en faveur de l'introduction d'un nouvel <ref-law>, qui prévoit que (notamment) les fonds patronaux de prévoyance à prestations discrétionnaires sont régis par les dispositions de la LPP sur (notamment) la responsabilité (<ref-law>; art. 89a al. 7 ch. 5; Avant-projet et rapport explicatif de la Commission de la sécurité sociale et de la santé publique du Conseil national du 24 mai 2013, p. 11 s. ch. 3.2.4, http://www.admin.ch/ch/f/gg/pc/ind2013.html#CP [consulté le 14 avril 2014], cf. aussi FF 2013 3425; p. 15 s., ch. 3.2.4).
4.3. Une fois admise l'application par analogie de l'<ref-law> aux fonds patronaux de bienfaisance, il apparaît que la compétence pour connaître d'un litige portant sur la responsabilité des (anciens) organes de ces fonds au sens de l'<ref-law> doit revenir aux tribunaux cantonaux compétents en matière de prévoyance professionnelle et non aux tribunaux civils. Une telle solution découle de l'art. 73 al. 1 let. c LPP, selon lequel le tribunal qui connaît en dernière instance des contestations opposant institutions de prévoyance, employeurs et ayants droit est également compétent pour les prétentions en matière de responsabilité selon l'art. 52. Il se justifie d'attribuer la compétence de statuer sur une action en responsabilité fondée sur l'<ref-law> à la même autorité judiciaire administrative, que la demande soit dirigée contre les organes d'une institution de prévoyance ou contre ceux d'une fondation patronale de bienfaisance. Il s'agit, en effet, sous l'angle du droit de fond, de se prononcer sur la violation, par un organe du fonds patronal de bienfaisance ou de son organe de révision, de prescriptions du droit de la prévoyance professionnelle, soit sur un litige qui relève, de manière générale, de la compétence des tribunaux cantonaux de la prévoyance professionnelle. Dans ce contexte, la Commission de la sécurité sociale et de la santé publique du Conseil national propose de mentionner les art. 73 et 74 LPP parmi les dispositions applicables aux fonds patronaux de bienfaisance, parce qu'"[o]n assure ainsi que toutes les institutions actives dans la prévoyance professionnelle soient soumises à la même autorité judiciaire" (art. 89a al. 7 ch. 8 projet CC; avant-projet et rapport explicatif cité, ch. 3.2.12).
On peut certes imaginer qu'un demandeur intente une action en responsabilité à l'encontre d'une fondation patronale de bienfaisance en vertu de l'<ref-law>, mais invoque uniquement la violation de règles de nature patrimoniale, par exemple un excès ou un abus du pouvoir d'appréciation. Même si dans une telle situation la compétence du tribunal civil pourrait entrer en considération, il y a lieu d'attribuer de manière générale les litiges en matière de responsabilité fondée sur l'<ref-law> aux tribunaux de la prévoyance professionnelle, sans distinguer quant à la nature (de droit civil ou de droit administratif) des prescriptions dont la violation entre effectivement en ligne de compte (violation de principes du droit de la prévoyance professionnelle s'appliquant aussi aux fondations patronales de bienfaisance ou violation de seuls principes de nature patrimoniale). Une telle distinction est en effet difficilement praticable, au regard notamment des cas dans lesquels ces deux types de violations seraient invoqués en même temps.
4.4. La solution ainsi dégagée, selon laquelle l'<ref-law> sur la responsabilité est applicable par analogie aux fonds patronaux de bienfaisance, par le renvoi de l'<ref-law>, et les tribunaux cantonaux en matière de prévoyance professionnelle sont compétents pour statuer sur un litige portant sur la responsabilité des organes d'un fonds patronal de bienfaisance au sens de l'<ref-law>, par le renvoi de l'art. 89a al. 6 ch. 19 à l'art. 73 al. 1 let. c LPP, est en harmonie avec les considérants de l'<ref-ruling> rappelés ci-avant (consid. 4.1 supra ).
4.4.1. Comme on l'a vu, le Tribunal fédéral a rappelé la nécessité de faire une différence, sous l'angle de la compétence du juge, entre les contestations en matière de surveillance et d'autres "contestations avec des fonds patronaux de bienfaisance". Au regard de sa jurisprudence, on constate que par la notion de "contestations avec des fonds patronaux de bienfaisance", il faut entendre avant tout les litiges concernant les pures prestations discrétionnaires en tant que telles et leur attribution.
Ainsi, le Tribunal fédéral a jugé par le passé que la voie d'une action judiciaire en général et d'une demande en justice au sens de l'<ref-law> en particulier était exclue lorsqu'il s'agissait de l'allocation par un fonds patronal de bienfaisance de pures prestations discrétionnaires à un destinataire, en fonction du seul pouvoir d'appréciation ("Ermessen") du conseil de fondation. En conséquence, seule la voie du recours à l'autorité de surveillance était ouverte au bénéficiaire. Lorsque la contestation portait sur la restitution par le bénéficiaire de prestations discrétionnaires (arrêt B 16/93 du 10 août 1994, RSAS 1995 p. 389), ou sur l'allocation de prestations discrétionnaires en vertu d'une décision du conseil de fondation (arrêt B 29/97 du 26 février 1999, RSAS 2001 p. 190) ou d'une convention complémentaire conclue par le conseil de fondation (arrêt B 81/00 du 8 août 2001, RSAS 2003 p. 441), le juge civil - et non le tribunal cantonal des assurances sociales au sens de l'<ref-law> - était compétent pour en connaître. Il ne s'agissait en effet pas d'une contestation entre une institution de prévoyance active dans le domaine de la prévoyance professionnelle au sens étroit (soit qui assure, en dehors du domaine obligatoire, les risques vieillesse, décès et invalidité) et un ayant droit au sens de l'<ref-law>.
Dans l'<ref-ruling>, le Tribunal fédéral a retenu que la compétence des tribunaux des assurances sociales est donnée tant que la prestation relevant de la libre appréciation forme un tout avec une prestation de la prévoyance professionnelle pour laquelle il existe un droit et qui relève, en cas de contestation de la procédure prévue par l'<ref-law>. Était en cause la compensation du renchérissement (à laquelle ni la loi ni le règlement de l'institution ne donnaient droit) pour des rentes de vieillesse en cours qui avait une influence directe sur le montant de celles-ci. Le Tribunal fédéral a relevé que cette précision relative à la voie de droit pour des prestations discrétionnaires se rapportait aux institutions pratiquant la prévoyance professionnelle au sens étroit et large, avec un caractère d'assurance, dont faisaient notamment partie les fondations de prévoyance de droit privé qui garantissaient à leurs destinataires des droits à des prestations (d'assurance) lors de la réalisation des risques assurés, mais pas seulement des prestations discrétionnaires. Dans cette mesure, la précision était conforme à la jurisprudence selon laquelle les tribunaux de la prévoyance professionnelle n'étaient pas compétents pour les litiges relatifs à de pures prestations discrétionnaires allouées par les fonds patronaux de bienfaisance (<ref-ruling> consid. 3.3.3 p. 85).
4.4.2. Le présent litige, on l'a vu (consid. 4.2 supra ), n'a pas trait à l'octroi ou aux modalités d'octroi de prestations discrétionnaires à un bénéficiaire et n'oppose pas celui-ci à la fondation attribuant ces prestations, comme dans les exemples précités. Il ne s'agit donc pas d'une "contestation avec des fonds patronaux de bienfaisance" au sens où l'entend la jurisprudence. À cet égard, le point de savoir si dans le futur la compétence des tribunaux civils continuera à jouer un rôle (consid. 4.2.2 supraet avant-projet cité) peut rester indécise à ce stade.
5.
En conséquence de ce qui précède, la juridiction cantonale n'était pas en droit de nier sa compétence pour connaître de la demande en justice du recourant, fondée sur la responsabilité des membres du conseil de fondation et de l'organe de révision au sens de l'<ref-law>. Une telle demande relève de la compétence du tribunal cantonal des assurances sociales au sens de l'art. 73 al. 1 let. c LPP.
Partant, les conclusions du recourant sont bien fondées et doivent être admises. Il convient de renvoyer la cause à la juridiction cantonale pour qu'elle entre en matière sur la demande du 15 juin 2012 déposée par A._ SA contre l'hoirie de B._, D._ et E._ SA
6.
6.1. Le présent arrêt rend sans objet la requête d'effet suspensif présentée par le recourant.
6.2. Vu l'issue du litige, les frais de justice y afférents doivent être mis à la charge des intimés, qui succombent (<ref-law>). Ceux-ci verseront également une indemnité de dépens au recourant, qui obtient gain de cause (<ref-law>; <ref-ruling>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. La décision du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 18 décembre 2013 est annulée. La cause est renvoyée à ladite autorité judiciaire pour qu'elle entre en matière sur la demande du 15 juin 2012 formée par A._ SA contre l'hoirie de B._, D._ et E._ SA
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des intimés, solidairement entre eux.
3.
Les intimés verseront au recourant une indemnité de 2'800 fr. à titre de dépens, solidairement entre eux.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 24 juin 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Kernen
La Greffière : Moser-Szeless