Faits: A. Par acte authentique du 19 juin 1987, la société A._ SA a constitué une fondation de droit suisse dénommée "Fonds de secours patronal en faveur du personnel de A._ SA" (ci-après: la fondation). Celle-ci avait pour but d'apporter une aide aux membres du personnel de la fondatrice, éventuellement à leur famille, pour faire face aux conséquences économiques résultant de la vieillesse, de l'invalidité, de la maladie, des accidents, du chômage, du service militaire, de la détresse et du décès. Son conseil de fondation était composé de B._ (qui est décédé en 2005) et D._. Par décision du 24 juillet 2007, l'Autorité de surveillance des fonda-tions du canton de Vaud a constaté la dissolution de la fondation et ordonné sa liquidation. Elle a également nommé la société E._ SA, organe de révision de la fondation, en qualité de liquidatrice, avant de la démettre de cette fonction par décision du 24 novembre 2009. B. Par demande datée du 15 juin 2012, le Fonds de secours patronal en faveur du personnel de A._ SA en liquidation a ouvert action contre l'hoirie de B._, soit C._, ainsi que contre D._ et E._ SA, devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Il a conclu à ce que les défendeurs, tous pris solidairement et conjointement, soient condamnés à lui payer la somme de 801'614 fr. 50 avec intérêts à 5 % à partir de la date de la demande, à titre de prestations versées indûment par les organes de la fondation à des tiers non bénéficiaires, d'intérêts et de frais de mandataires. Par jugement du 18 décembre 2013, la Cour des assurances sociales du Tribunal cantonal vaudois a décliné sa compétence et déclaré irrecevable la demande du 15 juin 2012. C. Le Fonds de secours patronal en faveur du personnel de A._ SA en liquidation interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il en demande la réforme en ce sens que la compétence de la Cour des assurances sociales du Tribunal cantonal vaudois est donnée. L'hoirie de B._, D._ et E._ SA concluent tous trois au rejet du recours.