Faits :
A.
Le 17 mars 2016, une bagarre a éclaté entre X._ d'une part, B._ et A._ d'autre part, au domicile de ces deux derniers. X._ a admis avoir poussé B._ au niveau de la poitrine avec ses deux mains et donné deux coups de poing à A._. Il a en revanche nié leur avoir asséné de nombreux autres coups de poing et de pied, de même que les avoir injuriés et menacés de mort. X._ a également réfuté avoir utilisé une chaise pour frapper A._, l'avoir poussé en bas des escaliers, provoquant sa chute, des fractures à la jambe droite et une perte de connaissance de quelques secondes, puis lui avoir encore asséné des coups de pied dans la jambe fracturée. Le constat médical établi concernant A._ fait état de fractures du plateau tibial et du péroné proximal droit ainsi que d'un traumatisme cranio-cérébral avec perte de connaissance.
B.
Par ordonnance du 14 juin 2017, le Ministère public de l'arrondissement de Lausanne a ordonné le classement de la procédure pénale dirigée contre X._ pour lésions corporelles, injure et menaces. Il a précisé qu'une ordonnance pénale sera rendue s'agissant des faits pénalement répréhensibles admis par X._ dès que l'ordonnance de classement sera devenue définitive et exécutoire. A l'appui de sa décision de classement, il a considéré que les versions des parties divergeaient, respectivement étaient " diamétralement contradictoires ", que l'instruction n'avait pas permis de les départager et que le principe " in dubio pro reo " imposait le classement de la procédure pour les accusations niées par X._.
C.
Par arrêt du 3 juillet 2017, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé contre cette ordonnance par B._ et A._.
D.
Ces derniers forment un recours en matière pénale auprès du Tribunal fédéral à l'encontre de cet arrêt, réclamant sa réforme en ce sens que l'ordonnance de classement du 14 juin 2017 est annulée et la cause renvoyée au ministère public pour mise en accusation. A titre subsidiaire, ils concluent à l'annulation de l'arrêt du 3 juillet 2017 et au renvoi de la cause à l'autorité précédente pour nouvelle décision.
Invités à se déterminer, l'autorité précédente et le ministère public y ont renoncé, X._ s'est référé aux décisions rendues.

Considérant en droit :
1.
Les recourants ont chacun formé un même recours en matière pénale à l'encontre du même arrêt. Les causes qui en sont issues, portant sur le même complexe de faits et les mêmes questions juridiques, sont jointes et seront tranchées par une seule décision (<ref-law> et 24 PCF).
2.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis.
2.1. Dès lors que l'autorité précédente a statué, de manière finale, sur un objet (les accusations niées par l'intimé) dont le sort est en l'espèce indépendant de celui qui reste en cause (les accusations admises par l'intimé), sa décision de confirmer le classement s'agissant des accusations niées par l'intimé constitue une décision partielle contre laquelle le recours est recevable en vertu de l'<ref-law>.
2.2.
2.2.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent des prétentions civiles celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>. Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s.; <ref-ruling> consid. 1.4.1 p. 189 et les références citées).
Si la partie plaignante invoque des infractions distinctes, elle doit mentionner par rapport à chacune d'elles en quoi consiste son dommage. Si le dommage n'est motivé qu'en ce qui concerne l'une des infractions, le recours est irrecevable pour les autres (arrêt 6B_865/2015 du 10 octobre 2016 consid. 1.1).
2.2.2. Indépendamment de ce qui précède, la qualité pour recourir en matière pénale au Tribunal fédéral doit être reconnue à la partie qui invoque des griefs purement formels, entièrement séparés du fond, équivalant à un déni de justice formel (<ref-ruling> consid. 1.1 p. 5). Son recours ne peut dans une telle hypothèse porter sur des points indissociables du jugement au fond tels que le refus d'administrer une preuve sur la base d'une appréciation anticipée de celle-ci ou le devoir de l'autorité de motiver sa décision de façon suffisamment détaillée (<ref-ruling> consid. 1.4 p. 44).
2.2.3. Les recourants invoquent à l'appui de leurs qualité pour recourir avoir réclamé une juste indemnité au sens de l'<ref-law>. Les frais d'avocat ne constituent cependant pas des prétentions civiles au sens de l'art. 81 al. 1 let. b ch. 5 LTF (cf. arrêt 6B_1166/2015 du 27 juin 2016 consid. 1.1).
2.2.4. Pour le surplus, le recourant a participé à la procédure pénale en tant que partie plaignante. Il soutient avoir subi une atteinte importante à son intégrité physique et indique avoir pris des conclusions civiles à hauteur de 16'099 fr. à titre du tort moral subi et de son dommage matériel résultant de l'atteinte physique invoquée. Il doit se voir reconnaître la qualité pour recourir contre la confirmation du classement de l'accusation de lésions corporelles. En revanche, le recourant n'expose nullement quel préjudice il aurait subi du fait des infractions de menaces et d'injure dont il accuse l'intimé. Cela n'a rien d'évident. La qualité pour recourir contre la confirmation du classement de ces deux dernières accusations doit dès lors lui être déniée.
2.2.5. A l'appui de sa qualité pour recourir, la recourante invoque avoir requis auprès du ministère public qu'il lui soit donné acte de ses réserves civiles par rapport aux coups dont elle dit avoir été victime. Elle indique ensuite qu'elle entend faire valoir à l'encontre de l'intimé une indemnité pour tort moral. La recourante ne fournit pour le surplus aucun détail quant à la quotité de cette indemnité ou son fondement. Elle n'expose pas non plus les motifs qui la conduisent à s'abstenir de formuler une telle prétention dans la procédure pénale. Ce faisant, la recourante ne respecte pas les conditions strictes posées par la jurisprudence en matière de qualité pour recourir au sens de l'art. 81 al. 1 let. a et b ch. 5 LTF. Il n'y a dès lors pas lieu d'entrer en matière sur ses griefs de violation de l'<ref-law> et d'arbitraire dans la constatation des faits. La recourante doit en revanche se voir reconnaître la qualité pour faire valoir devant le Tribunal fédéral son grief de violation de l'<ref-law> et de son droit d'être entendue, soit des aspects touchant ses droits de parties (cf. supra consid. 2.2.3).
3.
Les recourants invoquent une violation de l'<ref-law> et de leur droit d'être entendus. Ils allèguent, s'agissant des accusations de lésions corporelles niées par l'intimé, que le ministère public avait annoncé aux parties, dans son avis de prochaine clôture du 19 mai 2017, qu'il allait rendre une ordonnance de classement concernant l'intimé pour " avoir menacé et injurié " les recourants les 17 et 21 mars 2016 " à C._ notamment " et indiqué " pour le surplus, une ordonnance pénale sera rendue ". En rendant finalement une ordonnance de classement également pour les accusations de lésions corporelles niées par l'intimé, le ministère public aurait enfreint l'<ref-law> et le droit d'être entendus des recourants.
L'arrêt attaqué ne traite pas de ce prétendu vice de procédure et les recourants ne formulent aucun grief recevable pour se plaindre d'un déni de justice à cet égard. Leur grief est ainsi irrecevable, faute d'épuisement des instances cantonales (<ref-law>; arrêt 6B_237/2016 du 18 juillet 2016 consid. 1).
4.
A l'encontre de l'arrêt attaqué confirmant la décision de classement de l'accusation de lésions corporelles, le recourant invoque de nombreux faits ne résultant pas de cet arrêt.
4.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.3 p. 244; <ref-ruling> consid. 6 p. 358).
L'établissement de l'état de fait incombe principalement au juge matériellement compétent pour se prononcer sur la culpabilité du prévenu. Le ministère public et l'autorité de recours n'ont dès lors pas, dans le cadre d'une décision de classement d'une procédure pénale, respectivement à l'encontre d'un recours contre une telle décision, à établir l'état de fait comme le ferait le juge du fond. Des constatations de fait sont admises au stade du classement, dans le respect du principe " in dubio pro duriore ", soit dans la mesure où les faits sont clairs, respectivement indubitables, de sorte qu'en cas de mise en accusation ceux-ci soient très probablement constatés de la même manière par le juge du fond. Tel n'est pas le cas lorsqu'une appréciation différente par le juge du fond apparaît tout aussi vraisemblable. Le principe " in dubio pro duriore " interdit ainsi au ministère public, confronté à des preuves non claires, d'anticiper sur l'appréciation des preuves par le juge du fond. L'appréciation juridique des faits doit en effet être effectuée sur la base d'un état de fait établi en vertu du principe " in dubio pro duriore ", soit sur la base de faits clairs (<ref-ruling> consid. 2.3.2 p. 244 et les références citées).
L'<ref-law> est également applicable aux recours en matière pénale contre les décisions de classement ou confirmant de telles décisions. Saisi d'un tel recours, le Tribunal fédéral examine sous l'angle de l'arbitraire l'appréciation des preuves opérée par l'autorité précédente en application du principe " in dubio pro duriore " (<ref-ruling> consid. 2.3.3 p. 245 ss), si l'autorité précédente a arbitrairement jugé la situation probatoire claire ou a admis arbitrairement que certains faits étaient clairement établis. (<ref-ruling> consid. 2.3.2 p. 244 s.).
4.2. L'<ref-law> exige que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2.4 p. 368). En outre, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé de manière précise par le recourant (<ref-law>; <ref-ruling> consid. 1.1 p. 503). Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
4.3. Il résulte de ce qui précède que la reprise textuelle de l'état de fait de l'arrêt attaqué avec certains faits transcrits en gras, sans autre motivation, ne constitue pas un grief recevable. Il en va de même des faits qui ne ressortent pas de l'arrêt entrepris que le recourant invoque à travers son recours, sans les accompagner d'un grief d'arbitraire correctement motivé.
4.4. Le recourant invoque, se fondant sur ses déclarations, celles de la recourante et celles du témoin D._ (cf. infra consid. 5.2) que l'intimé aurait dû être reconnu comme l'auteur de l'agression qu'il a subie. Son argumentation, appellatoire, ne démontre toutefois pas que l'autorité précédente aurait arbitrairement refusé de considérer un tel fait comme clair, respectivement indubitable.
4.5. Le recourant invoque que l'intimé lui aurait fait des excuses. Cela n'imposait toutefois pas de retenir que l'intimé aurait bien commis les actes qu'il nie dans la procédure.
Le recourant invoque également que l'intimé aurait proposé un dédommagement en argent moyennant un retrait de plainte et qu'après s'être rencontrées en août 2016 les parties auraient convenus d'un montant de 25'000 fr. à payer avant le 31 décembre 2016. L'intimé n'aurait toutefois payé qu'un montant de 500 fr. en mai 2017. Le recourant se réfère sur ce point à des échanges de SMS au dossier. Ces SMS font en effet état d'un montant de 25'000 fr., que l'intimé aurait été d'accord de verser au recourant, et d'un versement à ce dernier d'un montant de 500 francs. Le dossier contient toutefois également un courrier du recourant au ministère public du 8 juin 2017. Dans celui-ci, le recourant affirme que l'intimé lui aurait déclaré, en août 2016, vouloir lui rembourser deux acomptes versés sur le prix d'un achat immobilier, par respectivement 3000 fr. et 17'545 fr., avant le 31 décembre 2016 et n'avoir reçu qu'un montant de 500 fr. en mai 2017. Au vu de ces déclarations du recourant, on ne saurait considérer qu'il était clair d'une part que l'éventuel accord sur la somme de 25'000 fr. aurait uniquement trait aux actes survenus le 17 mars 2016, d'autre part qu'une telle somme démontrerait que l'intimé s'était bien rendu coupable non seulement des coups admis mais également de ceux niés. Le grief doit ainsi être rejeté.
5.
Le recourant estime qu'en confirmant le classement, l'autorité précédente aurait violé l'<ref-law> et le principe " in dubio pro duriore ".
5.1. Aux termes de l'<ref-law>, le ministère public ordonne le classement de tout ou partie de la procédure notamment lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a) ou lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b).
La décision de classer la procédure doit être prise en application du principe " in dubio pro duriore ". Ce principe vaut également pour l'autorité judiciaire chargée de l'examen d'une décision de classement. Il signifie qu'en règle générale, un classement ou une non-entrée en matière ne peut être prononcé par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave. En effet, en cas de doute s'agissant de la situation factuelle ou juridique, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer (<ref-ruling> consid. 2.2.1 p. 243; <ref-ruling> consid. 4.1.2 p. 91 et les références citées). L'autorité de recours ne saurait ainsi confirmer un classement au seul motif qu'une condamnation n'apparaît pas plus probable qu'un acquittement (arrêt 6B_1356/2016 du 5 janvier 2018 consid. 3.3.3, arrêt destiné à la publication).
Dans les procédures où l'accusation repose essentiellement sur les déclarations de la victime, auxquelles s'opposent celles du prévenu et lorsqu'il n'est pas possible d'estimer que certaines dépositions sont plus crédibles que d'autres, le principe " in dubio pro duriore " impose en règle générale que le prévenu soit mis en accusation (<ref-ruling> consid. 2.2.2 p. 243 et les arrêts cités). Cela vaut en particulier lorsqu'il s'agit de délits commis typiquement " entre quatre yeux " pour lesquels il n'existe souvent aucune preuve objective. Il peut toutefois être renoncé à une mise en accusation lorsque la partie plaignante fait des dépositions contradictoires, rendant ses accusations moins crédibles ou encore lorsqu'une condamnation apparaît au vu de l'ensemble des circonstances à priori improbable pour d'autres motifs (<ref-ruling> consid. 2.2.2 p. 243).
Déterminer si l'autorité précédente a correctement compris la portée du principe " in dubio pro duriore " et s'est fondée sur une notion juridiquement correcte du " soupçon suffisant " visé par l'<ref-law> est une question de droit, soumis au libre examen du Tribunal fédéral. Le principe " in dubio pro duriore ", en tant que règle de droit, est notamment violé lorsque l'instance précédente a admis dans ses considérants un soupçon suffisant mais, pour des motifs ne concernant pas l'objet du litige et en violation de son pouvoir d'appréciation, n'a pas engagé l'accusation, lorsqu'il ressort des considérants de l'arrêt attaqué que l'autorité précédente a établi l'état de fait comme un juge du fond, en faisant application du principe " in dubio pro reo " ou lorsqu'elle a méconnu de toute autre manière le principe " in dubio pro duriore " (<ref-ruling> consid. 2.3.3 p. 245 ss).
5.2. Il n'est pas contesté que le recourant a subi des atteintes importantes à sa santé. Certaines ont été admises par l'intimé et feront, selon le ministère public, l'objet d'une ordonnance pénale dès que l'ordonnance de classement sera devenue définitive et exécutoire. Pour les autres, l'intimé a nié en être l'auteur. Le ministère public, estimant que l'instruction n'avait pas permis de départager les versions diamétralement contradictoires des parties sur ces accusations, a, se fondant sur le principe " in dubio pro reo " jugé qu'une ordonnance de classement devait être rendue sur les accusations niées par l'intimé.
L'autorité précédente a relevé à juste titre que le principe " in dubio pro reo " n'était pas applicable au stade de la clôture de l'enquête. Elle a ensuite constaté que le seul tiers impliqué dans l'affaire, D._, avait déclaré que l'intimé lui avait uniquement dit, par téléphone, qu'il s'était rendu chez les recourants et qu'il les avait " tapés ". Il n'avait en revanche pas confirmé la version des recourants. L'autorité précédente ne voyant pour le surplus pas quelles mesures d'instruction seraient susceptibles de départager les versions diamétralement contradictoires des parties - sur lesquelles elle ne donne aucun détail -, les mesures requises par les recourants pouvant tout au plus confirmer que les lésions subies sont compatibles avec une chute dans un escalier, mais non si l'intimé était l'auteur des autres atteintes dont l'accusaient les recourants. L'autorité précédente a dès lors conclu que les recourants ne faisaient état d'aucun élément permettant de considérer une condamnation comme envisageable, respectivement comme plus vraisemblable qu'un acquittement, de sorte que le classement prononcé échappait à toute critique.
5.3. Au vu de la jurisprudence qui précède, cette motivation ne peut être suivie. S'agissant d'actes potentiellement graves commis lors d'une bagarre à laquelle n'avaient participé que l'intimé et les recourants, sans témoin direct, ni autre preuve établissant l'implication de l'intimé dans la survenance des actes dénoncés par les recourants, l'autorité précédente ne pouvait confirmer le classement de la procédure au seul motif que les versions des parties seraient diamétralement contradictoires. Une telle motivation viole le principe " in dubio pro duriore ". Dans une telle situation, soit des contradictions dans les déclarations des parties durant l'instruction ou d'autres motifs justifiaient que l'on puisse néanmoins classer la procédure (cf. supra consid. 5.1 3e paragraphe) et le ministère public, respectivement l'autorité de recours devait les indiquer dans leur décision. Si tel n'était pas le cas, s'agissant d'actes potentiellement graves, qui plus est commis entre les seules parties, le principe " in dubio pro duriore " imposait que l'intimé soit mis en accusation.
Il résulte de ce qui précède que le recours doit être admis sur ce point, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
6.
Le recours 6B_875/2017 est irrecevable. Les frais de justice y afférant doivent être supportés par la recourante qui succombe (<ref-law>).
Le recours 6B_874/2017 doit quant à lui être partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, il doit est rejeté dans la mesure de sa recevabilité.
Dès lors que son recours est partiellement rejeté, respectivement irrecevable, le recourant doit supporter une part des frais. Il peut prétendre à des dépens réduits, à la charge du canton de Vaud.
Dans la mesure où l'intimé s'est limité à se référer aux décisions cantonales, il n'y a pas lieu de lui allouer de dépens, ni de mettre des frais et dépens à sa charge.

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 6B_874/2017 et 6B_875/2017 sont jointes.
2.
Le recours 6B_875/2017 est irrecevable.
3.
Le recours 6B_874/2017 est partiellement admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure de sa recevabilité.
4.
Les frais judiciaires de la procédure 6B_875/2017, par 1'000 fr., sont mis à la charge de la recourante.
5.
Des frais judiciaires réduits, par 1'500 fr., pour la procédure 6B_874/2017 sont mis à la charge du recourant.
6.
Le canton de Vaud versera au recourant la somme de 1'500 fr. à titre de dépens réduits pour la procédure 6B_874/2017 devant le Tribunal fédéral.
7.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 18 avril 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod