Faits :
A.
G._ et H._ ont eu deux enfants, I._, né en 1931, et A._, née en 1933. Celle-ci est l'épouse de B._, né en 1937. A._ et B._ ont eu deux enfants, C._ et D._. G._ est décédé à Cannes le 31 janvier 1998. H._ est décédée à St-Légier le 20 janvier 2008.
Le 26 octobre 2010, pour la troisième fois (cf. arrêt 4P.84/2006 du 30 août 2006 let. A.c.), I._ a déposé plainte pénale, auprès du Ministère public du canton de Vaud, faisant état de détournements de valeurs patrimoniales dans le cadre de la succession de ses parents. Le ministère public a ouvert une instruction pour vol, gestion déloyale et blanchiment d'argent contre A._ et B._.
I._ est décédé le 12 février 2016. Sa veuve E._ et son fils F._ ont manifesté la volonté d'exercer ses droits procéduraux.
Par ordonnance du 18 avril 2016, le ministère public a classé la procédure pour vol, gestion déloyale et blanchiment ouverte contre A._ et B._. Il a mis les frais de justice, par 52'000 fr., à la charge d'A._ et B._, solidairement entre eux, a alloué à ces derniers une indemnité de 69'250 fr. pour leur frais de défense, leur a refusé une indemnité pour réparation du tort moral, a refusé d'accorder à C._ et à D._ une indemnité au sens de l'<ref-law> et a compensé partiellement l'indemnité due avec les frais de justice.
B.
Par arrêt du 16 août 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé contre cette ordonnance par A._ et B._, C._ et D._. Elle a mis les frais d'arrêt, par 1760 fr., à la charge des recourants, à raison des trois quarts pour les deux premiers et d'un quart pour les deux derniers, solidairement entre eux.
C.
A._, B._, C._ et D._ forment un recours en matière pénale au Tribunal fédéral contre cet arrêt. Ils concluent, avec suite de frais et dépens, à son annulation, subsidiairement à sa réforme en ce sens que les frais de la cause sont intégralement laissés à la charge de l'Etat, qu'il est alloué à A._ et B._ une indemnité solidaire de 373'680 fr. pour leur frais de défense, une indemnité pour tort moral de 50'000 fr. chacun ainsi qu'une indemnité matérielle unique de 50'000 fr. et qu'il est alloué à A._, C._ et D._ une indemnité au sens de l'<ref-law> de 50'000 fr. chacun.
La Chambre des recours pénale et le ministère public ont déclaré renoncer à se déterminer et se référer aux considérants de la décision entreprise. Interpellés, E._ et F._ ne se sont pas déterminés sur le recours.

Considérant en droit :
1.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 6.3 p. 375), ce qu'il appartient au recourant d'alléguer et d'étayer conformément aux exigences de motivation strictes posées par l'<ref-law> (cf. <ref-ruling> consid. 6.3 p. 375).
Il résulte de ce qui précède que les nombreux faits que les recourants invoquent et qui s'écartent de ceux retenus par l'arrêt entrepris sans que l'arbitraire de leur omission soit invoqué et démontré sont irrecevables (recours notamment ch. 1 - 23, ch. 30, 34, 35).
2.
Les recourants reprochent à l'autorité précédente d'avoir violé l'<ref-law> en confirmant la mise à la charge de deux d'entre eux de l'entier des frais d'enquête.
2.1. En vertu de l'<ref-law>, les frais de procédure sont mis à la charge de la Confédération ou du canton qui a conduit la procédure; les dispositions contraires du CPP sont réservées.
Selon l'<ref-law>, lorsque la procédure fait l'objet d'une ordonnance de classement ou que le prévenu est acquitté, tout ou partie des frais de procédure peuvent être mis à sa charge s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile sa conduite. La condamnation d'un prévenu acquitté à supporter tout ou partie des frais doit respecter la présomption d 'innocence, consacrée par les art. 32 al. 1 Cst. et 6 par. 2 CEDH. Celle-ci interdit de rendre une décision défavorable au prévenu libéré en laissant entendre que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées. Une condamnation aux frais n'est ainsi admissible que si le prévenu a provoqué l'ouverture de la procédure pénale dirigée contre lui ou s'il en a entravé le cours. A cet égard, seul un comportement fautif et contraire à une règle juridique, qui soit en relation de causalité avec les frais imputés, entre en ligne de compte (<ref-ruling> consid. 1b p. 334; arrêt 6B_1065/2015 du 15 septembre 2016 consid. 2.1). Pour déterminer si le comportement en cause est propre à justifier l'imputation des frais, le juge peut prendre en considération toute norme de comportement écrite ou non écrite résultant de l'ordre juridique suisse pris dans son ensemble, dans le sens d'une application par analogie des principes découlant de l'<ref-law>. Le fait reproché doit constituer une violation claire de la norme de comportement (ATF 119 la 332 consid. 1b p. 334; arrêt 6B_203/2015 du 16 mars 2016 consid. 1.1). La mise des frais à la charge du prévenu en cas d'acquittement ou de classement de la procédure doit en effet rester l'exception (<ref-ruling> consid. 2c p. 171; plus récemment arrêt 6B_1169/2015 du 23 novembre 2016 consid. 1.1).
2.2. En l'espèce, l'autorité précédente a retenu que le ministère public avait mis (au préalable, soit avant de tripler le montant) l'entier des frais à la charge des prévenus nonobstant leur libération, au motif que, lors de leur interrogatoire respectif du 21 décembre 2011, ils lui avaient dissimulé le fait qu'en mars 1998, leur compte en banque avait été crédité de 1'845'000 fr. prélevés en espèces. Ce n'était que confrontés au résultat de l'enquête qu'ils avaient fourni les explications quant à ce mouvement de fonds. De même, les intéressés avaient refusé de renseigner le notaire. Lors de la perquisition effectuée à leur domicile le 26 janvier 2012, ils avaient tenté de dissimuler une note manuscrite se rapportant à un transfert de 427'000 euros en faveur de leur fils D._. Au vu de ces faits, le ministère public a considéré que ces circonstances avaient créé une apparence de détournement de fonds et avaient conforté la suspicion de frustration successorale dénoncée, cet état de choses ayant nécessité des investigations de grande envergure et ayant passablement compliqué le déroulement de l'enquête.
L'autorité précédente a poursuivi en relevant que les recourants A._ et B._ se référaient au devoir d'information au sein de l'hoirie quant aux dettes du de cujus (<ref-law>) et quant aux biens successoraux en possession d'un hoir (<ref-law>). Elle a jugé que par là, ils oubliaient que l'illicéité civile devait s'apprécier au regard de l'ordre juridique dans son ensemble, y compris le droit non écrit. Plus encore, sous l'angle de l'illicéité au regard du droit des successions, il tombait sous le sens qu'une information conforme à la vérité entre hoirs, fournie sitôt les éléments connus, était une condition du partage successoral. Tel était du reste le principe consacré par l'<ref-law>. Selon l'autorité précédente, les recourants oubliaient au demeurant que la jurisprudence conférait à l'<ref-law> une portée d'autant plus générale qu'elle étendait son champ d'application aux tiers possesseurs de biens successoraux. Sous l'angle de l'<ref-law>, il avait de plus été jugé que les héritiers étaient tenus de se renseigner mutuellement sur les libéralités reçues du vivant du de cujus et sur les circonstances dans lesquelles elles avaient été faites (ATF 59 II 128, JdT 1933 I 596). Il s'agissait ainsi de règles de comportement d'ordre général, relevant de la bonne foi en affaires. Peu importe dès lors que les normes en question ne soient pas applicables aux successions ouvertes sous le droit étranger.
Dans le cas d'espèce, l'autorité précédente a estimé que rien n'aurait empêché les prévenus de porter d'emblée à la connaissance de la direction de la procédure et du plaignant ou de l'administrateur de la succession toutes les modalités du versement consenti en leur faveur par la défunte le 18 mars 1998. Ils auraient, à tout le moins, pu agir dès le décès de feue H._, survenu en janvier 2008 à leur domicile. Or, selon l'autorité précédente, les recourants A._ et B._ avaient en partie dissimulé ces faits lors de leurs auditions par le ministère public le 21décembre 2011. De même, ils avaient refusé de renseigner le notaire en mai 2010. Ignorés du plaignant, les faits déterminants leur étaient pourtant connus de longue date lors du dépôt de la plainte, le 26 octobre 2010. En informer sans détour feu I._ aurait vraisemblablement permis d'éviter la procédure pénale, ou en aurait en tout cas notablement réduit l'ampleur et la durée. Ce qui précède s'appliquait également, mutatis mutandis, à la collaboration à l'enquête envers la direction de la procédure, dès lors que le plaignant était, précisément, non un tiers mais un co-héritier. Ainsi, les prévenus avaient retardé la procédure alors qu'ils auraient d'emblée pu produire les pièces prises en compte, in fine, à l'appui de leur libération. Ces manoeuvres dilatoires s'expliquent par leur volonté d'empêcher le plaignant, respectivement les ayants droit lui ayant succédé à la procédure, de recueillir des pièces susceptibles d'être utilisées à l'appui de procédures civiles ouvertes en France et portant sur le même complexe de faits. Les prévenus reconnaissaient du reste expressément cet aspect connexe à la présente procédure pénale. En faisant fi, jusqu'à leur aveu du 24 janvier 2013, d'un devoir d'information élémentaire qui leur commandait de révéler des faits de nature à tirer au clair une affaire ample et d'apparence confuse, l'autorité précédente a jugé que les prévenus avaient agi de manière illicite et fautive. Ce faisant, ils avaient provoqué l'ouverture de la procédure, respectivement avaient rendu plus difficile la conduite de celle-ci. Les conditions d'application de l'<ref-law> étaient donc remplies.
2.3. Les recourants A._ et B._ avaient, en tant que prévenus, le droit de ne pas s'autoincriminer, englobant celui de se taire (<ref-law>; <ref-ruling> consid. 2.6.1 p. 51). Leur silence, un temps, face au ministère public ne saurait dès lors suffire pour permettre, dans les circonstances d'espèce, de mettre les frais de la procédure pénale à leur charge à la suite du classement. Il en va de même de la tentative alléguée de dissimulation, lors de la perquisition du 26 janvier 2012 à leur domicile, d'une note manuscrite se rapportant à un transfert de 427'000 euros en faveur de leur fils D._, la procédure ayant au demeurant établi que ce montant avait été versé d'une part depuis le compte de A._ et B._, d'autre part qu'il n'avait pas été financé par le montant de 1'845'000 fr. transféré par feue H._ à ces derniers, ce montant ayant été retransféré par eux à la de cujus quelques mois plus tard.
2.4. Pour le surplus, l'autorité précédente invoque à l'appui de la mise des frais d'enquête à la charge des recourants A._ et B._ des dispositions de droit successoral suisse, à savoir les art. 581 al. 3, 607 al. 3 et <ref-law>.
2.4.1. Aux termes de l'<ref-law>, les héritiers sont tenus, en particulier, de signaler à l'autorité compétente pour dresser l'inventaire (cf. <ref-law>) les dettes de la succession à eux connues. L'<ref-law> astreint les héritiers possesseurs de biens de la succession ou débiteurs du défunt de fournir à cet égard des renseignements précis lors du partage. L'<ref-law> prescrit quant à lui aux héritiers de se communiquer, sur leur situation envers le défunt, tous les renseignements propres à permettre une égale et juste répartition. Selon la jurisprudence, le devoir d'information existe, nonobstant la systématique des art. 607 et 610 CC, dès l'ouverture de la succession et non pas seulement dans le cadre restreint du partage, qui constitue le but de ce devoir (arrêt 6B_696/2012 du 8 mars 2013 consid. 7.4.2). Les tiers en possession de biens successoraux peuvent être astreints à fournir certaines informations en vertu de ces dispositions (cf. <ref-ruling> consid. 4 p. 684 ss). Enfin, le devoir d'information prévu par l'<ref-law> doit être interprété de manière large. Doit ainsi être communiqué tout ce qui apparaît objectivement de nature à influencer sur le partage d'une quelconque manière. Ainsi en va-t-il, sans égard aux relations matrimoniales, des libéralités entre vifs que le testateur a faites (<ref-ruling> consid. 3 p. 402; 59 II 128 consid. 2 p. 129).
2.4.2. La succession de G._, décédé en France, n'était pas soumise au droit suisse. Les dispositions du code civil suisse précitées n'étaient dès lors pas applicables, s'agissant de cette succession, aux prévenus (cf. <ref-ruling> consid. 3 p. 599).
2.4.3. Quant à la succession de feue H._, les recourants A._ et B._ avaient peut-être reçu de cette dernière un montant de 1'845'000 fr. en 1998. Selon le quitus du 31 décembre 2000, produit en cours d'enquête, ce montant avait toutefois été restitué, avec intérêts, à feue H._ en 2000, soit huit ans avant son décès. On ne voit pas que les dispositions précités aient imposé aux recourants d'informer le notaire ou les autres héritiers d'une telle transaction après son décès: il ne s'agissait pas d'une dette de la succession (<ref-law>); les recourants n'étaient pas en possession du montant en question ou débiteurs à cet égard du défunt (<ref-law>); l'information qu'un montant avait été débité puis recrédité, avec intérêts, des comptes de la de cujus huit ans avant son décès n'était pas un renseignement propre à influer une égale et juste répartition de la succession (<ref-law>). Que les recourants A._ et B._ n'aient dans un premier temps pas mentionné le versement en 1998 du montant précité ou son remboursement en 2000 ne violait par conséquent aucune des dispositions successorales précitées et ne justifiait pas que les frais d'enquête soient mis à leur charge s'agissant des accusations portées à leur encontre pour cette succession. Qu'ils aient communiqué ces informations en cours d'enquête ne le justifiait pas non plus.
2.4.4. Au vu de ce qui précède, la mise à charge des recourants A._ et B._ des frais de justice, telle que motivée, viole les art. 423 et 426 al. 2 CPP. Le recours doit être admis sur ce point. Ce qui précède rend sans objet les griefs des recourants quant à la quotité de ces frais.
2.5. L'autorité précédente avait rejeté les prétentions des recourants A._ et B._ fondées sur l'art. 429 al. 1 let. b et c CPP et refusé d'augmenter celle fondée sur l'<ref-law>, accordée par le ministère public par 69'250 fr. en arguant du parallélisme entre ces questions et la mise à la charge du prévenu des frais de procédure selon l'art. 426 al. 1 et 2 CPP, celle-ci excluant le versement d'une indemnité fondée sur l'<ref-law> (cf. <ref-ruling> consid. 2.4.2 p. 357). Au vu de l'admission du recours s'agissant du grief de violation de l'<ref-law>, l'autorité précédente devra, après avoir statué à nouveau sur ce point, rendre également une nouvelle décision s'agissant des prétentions réclamées par les recourants A._ et B._ sur la base de l'<ref-law>.
3.
Les recourants concluent à l'allocation d'indemnités pour tort moral, fondées sur l'<ref-law>, en faveur de A._, D._ et C._, par 50'000 fr. chacun.
3.1. Aux termes de l'<ref-law>, les tiers qui, par le fait d'actes de procédure ou du fait de l'aide apportée aux autorités pénales, subissent un dommage ont droit à une juste compensation si le dommage n'est pas couvert d'une autre manière, ainsi qu'à une réparation du tort moral. L'<ref-law> est applicable par analogie. Aux termes de cette disposition, la partie plaignante adresse ses prétentions à l'autorité pénale. Elle doit les chiffrer et les justifier. Si elle ne s'acquitte pas de cette obligation, l'autorité pénale n'entre pas en matière sur la demande.
3.2. Les recourants ne motivent pas leur grief s'agissant de la prétention demandée en vertu de l'<ref-law> pour la recourante A._. Leur moyen est irrecevable (<ref-law>).
3.3. S'agissant de l'indemnité pour tort moral réclamée en faveur du recourant D._, les recourants invoquent qu'il aurait été " inquiété jusqu'à son domicile parisien par l'enquête " (recours, p. 16 ch. 55) d'une part, que le montant devrait être le même que pour C._ d'autre part. Le fait précité ne ressort pas de l'arrêt entrepris sans que les recourants n'invoquent et ne démontrent l'arbitraire de son omission. Le grief fondé sur celui-ci est irrecevable. Pour le surplus, le tort moral est éminemment personnel, de sorte qu'on ne saurait l'établir en invoquant ce qu'une autre personne aurait vécu. Au vu de ce qui précède, le refus d'accorder à D._ une indemnité pour tort moral ne prête pas flanc à la critique.
3.4. S'agissant de l'indemnité pour tort moral réclamée en faveur de la recourante C._, les recourants se fondent ici encore sur des faits, notamment de procédure, non constatés par l'arrêt entrepris, sans invoquer et démontrer l'arbitraire de leur omission. Ces faits, et avec eux les griefs fondés sur ceux-ci sont irrecevables. Mentionner qu'on " peut imaginer les dégâts collatéraux qu'une telle pièce [apparemment des mesures d'instruction ou ordonnance non mentionnées dans l'arrêt entrepris] peut provoquer, dans l'esprit de l'employeur et bien évidemment dans celui de l'employé " (recours, p. 16 ch. 55), ici apparemment la recourante, n'est pas suffisamment concret et étayé pour justifier que lui soit accordée une indemnité pour tort moral. Le grief doit par conséquent être rejeté, dans la mesure de sa recevabilité.
4.
Il résulte de ce qui précède que le recours doit être partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, il est rejeté dans la mesure de sa recevabilité.
Les recourants peuvent prétendre à des dépens réduits, à la charge du canton de Vaud. Dès lors que leur recours est partiellement rejeté dans la mesure de sa recevabilité, ils doivent supporter une part des frais.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le canton de Vaud versera aux recourants, créanciers solidaires, la somme de 2'000 fr. à titre de dépens réduits pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 25 juillet 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod