Faits:
A.
Par jugement du 28 mai 2013, rendu à la suite de l'appel de A.A._ et du Ministère public contre le jugement du 25 janvier 2012 du Tribunal du IIIe arrondissement pour le district de Martigny, la Cour pénale II du Tribunal cantonal du canton du Valais a condamné A.A._, pour tentative de meurtre (art. 22 al. 1 et 111 CP), agression (<ref-law>) et contravention à l'art. 19a ch.1 aLStup, à une peine privative de liberté de quatre ans, sous déduction de la détention avant jugement subie du 21 novembre 2009 au 19 février 2010, ainsi qu'à une amende de 300 francs.
En bref, il ressort de cette décision les faits suivants:
Dans la soirée du 20 novembre 2009, A.A._, rejoint par son frère E.A._, a pris l'initiative d'agresser D.B._. Les deux frères de ce dernier, soit C.B._ et B.B._, l'ont défendu. Ils sont tous deux tombés à terre et ont reçu des coups. C.B._ a subi des ecchymoses et des dermabrasions. Dans le contexte de l'altercation, A.A._ a sorti un couteau de poche muni d'une lame de 6.5 cm de long et de 1.3 cm de large. Il a menacé D.B._ de le "buter". Il a ensuite planté ce couteau dans la partie supérieure droite de l'abdomen de D.B._. Le coup était suffisamment appuyé pour traverser trois couches de vêtements. Il a ouvert la peau sur 2.5 à 3 cm, causé une plaie de 6 à 8 cm de profondeur et blessé le foie. Selon le rapport d'expertise, la vie de D.B._ n'a pas concrètement été mise en danger par les lésions subies. Toutefois, une plaie au foie, de façon générale, peut avoir des conséquences graves, voire létales. Une mise en danger potentielle de la vie pouvait donc être retenue.
B.
A.A._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, sous suite de dépens, principalement à ce qu'il soit acquitté des infractions de tentative de meurtre et d'agression et reconnu coupable de lésions corporelles par négligence subsidiairement de lésions corporelles simples, une peine pécuniaire avec sursis, subsidiairement une peine privative de liberté avec sursis étant prononcée. Subsidiairement, il sollicite la réduction de la peine prononcée en ce sens qu'une peine privative de liberté de 30 mois lui est infligée, dont 24 mois avec sursis. Il sollicite l'effet suspensif.

Considérant en droit:
1.
Le recourant conteste la qualification de tentative de meurtre pour le coup de couteau infligé à D.B._. Il se réfère à différents arrêts du Tribunal fédéral. Il affirme que le coup de couteau a été porté à l'abdomen et non au thorax comme dans les arrêts invoqués. Il affirme que la probabilité d'un décès était très faible et qu'il ne pouvait pas penser qu'il pouvait tuer la victime. Il conteste ainsi avoir agi par dol éventuel.
1.1. L'<ref-law> punit d'une peine privative de liberté de cinq ans au moins celui qui aura intentionnellement tué une personne. Selon l'<ref-law>, agit intentionnellement quiconque commet un crime ou un délit avec conscience et volonté. L'auteur agit déjà intentionnellement lorsqu'il tient pour possible la réalisation de l'infraction et l'accepte au cas où celle-ci se produirait.
Déterminer ce qu'une personne a su, envisagé, voulu ou accepté relève des constatations de faits (<ref-ruling> consid. 8.4.1 p. 84; <ref-ruling> consid. 4.2.3 p. 4), que le Tribunal ne revoit que sous l'angle de l'arbitraire, l'invocation de ce moyen supposant une argumentation claire et détaillée, les critiques appellatoires étant irrecevables (<ref-ruling> consid. 5.1 p. 356). Est en revanche une question de droit, celle de savoir si l'autorité cantonale s'est fondée sur une juste conception du dol éventuel et si elle l'a correctement appliquée au vu des éléments retenus (<ref-ruling> consid. 2.3.2 p. 156 et référence citée), étant rappelé qu'il y a dol éventuel lorsque l'auteur envisage le résultat dommageable, mais agit néanmoins, même s'il ne le souhaite pas, parce qu'il s'en accommode pour le cas où il se produirait (ATF <ref-ruling> consid. 4.2.3 p. 4). Parmi les éléments extérieurs permettant de conclure que l'auteur s'est accommodé du résultat dommageable pour le cas où il se produirait figurent notamment la probabilité (connue par l'auteur) de la réalisation du risque et l'importance de la violation du devoir de prudence. Plus celles-ci sont grandes, plus sera fondée la conclusion que l'auteur, malgré d'éventuelles dénégations, avait accepté l'éventualité de la réalisation du résultat dommageable ( <ref-ruling> consid. 8.4.1 p. 84; <ref-ruling> consid. 5.3 p. 226). Peuvent également constituer des éléments extérieurs révélateurs les mobiles de l'auteur et la façon dont il a agi (<ref-ruling> consid. 8.4.1 p. 84; <ref-ruling> consid. 2.3.3 p. 18).
1.2. En l'espèce, le recourant a sorti un couteau muni d'une lame de 6.5 cm de long pour apeurer les autres protagonistes, a menacé la victime de la "buter" et l'a frappée dans la partie supérieure droite de l'abdomen. Son coup était appuyé puisqu'il a traversé trois couches de vêtements et a provoqué une plaie de 6 à 8 cm de profondeur. Selon le rapport d'expertise, un coup porté au foie est susceptible de provoquer une issue fatale. Comme l'a relevé la cour cantonale, un tel coup peut aussi provoquer une hémorragie interne. Il s'ensuit que la cour cantonale pouvait retenir sans arbitraire que le risque encouru par la victime n'était pas limité à des lésions corporelles mais exposait celle-ci à une issue mortelle. Les affirmations du recourant distinguant un coup porté à l'abdomen d'un coup porté au thorax sont appellatoires, dès lors irrecevables. Il est indéniable qu'un coup de lame porté dans des circonstances telles que celles d'espèce présentait un risque élevé et aisément identifiable d'issue mortelle. Le recourant avait d'ailleurs préalablement déclaré à la victime qu'il allait la "buter". Dans ces conditions, la cour cantonale pouvait conclure sans arbitraire dans l'établissement des faits et sans violer la conception du dol éventuel que le recourant avait agi en ayant accepté que son coup de couteau ait pu avoir une issue fatale. Le recourant ne formule aucune autre critique recevable tirée de l'application des art. 22 al. 1 et 111 CP. Sa condamnation pour tentative de meurtre ne viole pas le droit fédéral.
2.
Le recourant conteste sa condamnation pour agression (<ref-law>).
2.1. Aux termes de l'<ref-law>, celui qui aura participé à une agression dirigée contre une ou plusieurs personnes au cours de laquelle l'une d'entre elles ou un tiers aura trouvé la mort ou subi une lésion corporelle sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
Pour que les éléments constitutifs de l'agression, qui est une infraction de mise en danger, soient réunis, il faut qu'une ou plusieurs des personnes agressées aient subi des lésions corporelles ou aient été tuées. Il s'agit là d'une condition objective de punissabilité (<ref-ruling> consid. 2.1.1 p. 153). Si l'un des agresseurs se rend coupable de meurtre (<ref-law>) respectivement de tentative de meurtre comme en l'espèce (art. 22 al. 1 et 111 CP), cette qualification absorbe, en ce qui le concerne, l'agression au sens de l'<ref-law>. Toutefois, un concours entre une tentative de meurtre et une agression est susceptible d'entrer en ligne de compte lorsqu'une autre personne que celle atteinte par la tentative de meurtre subit une lésion corporelle (cf. <ref-ruling> consid. 2.1.2 p. 154; <ref-ruling> consid. 5b p. 229).
2.2. Il ressort du jugement attaqué (p. 11) que la qualification d'agression (<ref-law>) a uniquement été retenue en raison des lésions subies par l'intimé C.B._. Il s'agit donc bien de lésions ayant atteint une autre personne que l'intimé D.B._, blessé par le coup de couteau à l'origine de la condamnation pour tentative de meurtre. Sous cet angle, un concours est envisageable. Encore faut-il que toutes les conditions posées par l'<ref-law> soient réunies, notamment que la personne attaquée (C.B._) ait subi une lésion corporelle. Une telle lésion s'entend au sens de l'<ref-law>, de simples voies de fait selon l'<ref-law> étant insuffisantes (cf. STEFAN MAEDER, in Basler Kommentar, Strafrecht II, 3 e éd. 2013, n° 10 in fine ad <ref-law> et n° 23 ad <ref-law>; TRECHSEL/FINGERHUTH, Schweizerisches Strafgesetzbuch, Praxiskommentar, 2 e éd. 2013, n° 3 ad <ref-law> et n° 7 ad <ref-law>). La distinction entre lésions corporelles simples et voies de fait peut s'avérer délicate, notamment lorsque l'atteinte s'est limitée à des meurtrissures, des écorchures, des griffures ou des contusions. Dans ces cas limites, il faut tenir compte de l'importance de la douleur provoquée. Sur ce point, une certaine marge d'appréciation est laissée au juge du fait et seul l'abus de ce pouvoir d'appréciation peut conduire à l'annulation de la décision (<ref-ruling> consid. 2e p. 272; <ref-ruling> consid. 4a p 2).
En l'espèce, la cour cantonale a mentionné que l'intimé C.B._ avait "subi des ecchymoses et des dermabrasions dans la région des oreilles, sous les côtes, à droite, et au genou gauche" (jugement p. 11). On se trouve donc dans un cas limite entre les lésions corporelles simples et les voies de fait, qui aurait dû être discuté dans le jugement attaqué dès lors que seules des lésions corporelles simples permettent de retenir la qualification d'agression selon l'<ref-law>. Or, la cour cantonale a admis la réalisation de lésions corporelles simples sans aucune justification. Elle n'a donné aucune précision sur l'intensité des coups, ni sur la douleur que ceux-ci ont pu provoquer (dans le même sens, cf. arrêt 6B_525/2011 du 7 février 2012 consid. 4.2). La qualification de lésions corporelles simples paraît d'autant plus discutable que les intimés B.B._ et C.B._ ont renoncé à leurs conclusions civiles à raison des coups reçus en admettant lors des débats de première instance que ceux-ci avaient provoqué une atteinte insuffisante pour admettre la réalisation de lésions corporelles au sens de l'<ref-law> (cf. jugement première instance, p. 64). Ils ont d'ailleurs expressément admis dans l'écriture qu'ils ont déposée en première instance (pièce 501), à laquelle se réfère le jugement précité, que les ecchymoses et dermabrasions subies par l'intimé C.B._ s'apparentaient plus à des voies de fait qu'à des lésions corporelles.
Au vu de l'état de fait lacunaire et de l'absence de motivation, le Tribunal fédéral ne peut contrôler la bonne application du droit fédéral relativement à l'<ref-law>. Il convient donc d'annuler le jugement attaqué et de renvoyer la cause à l'autorité précédente afin qu'elle complète l'état de fait et motive sa décision sur ce point. Dans cette configuration, le Tribunal fédéral peut procéder au renvoi sans avoir préalablement ordonné un échange d'écritures (cf. <ref-ruling> consid. 3.4.2 p. 296).
3.
Invoquant une violation de l'<ref-law>, le recourant se plaint de la peine infligée. Ce grief est sans objet dès lors que le renvoi implique le réexamen de l'une des infractions reprochées (supra consid. 2). Que l'infraction d'agression (<ref-law>) soit abandonnée ou non, il incombera de toute façon à l'autorité cantonale dans le cadre du renvoi de tenir compte de la situation personnelle du recourant au moment du jugement et son incidence sur la peine.
4.
Le recours doit être partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale afin qu'elle statue à nouveau. Pour le surplus, le recours doit être rejeté dans la mesure où il est recevable, respectivement où il n'est pas sans objet.
Une partie des frais sera supportée par le recourant (<ref-law>). Dans la mesure où il obtient gain de cause, il peut prétendre à des dépens réduits de la part du canton (<ref-law>).
La cause étant jugée, la requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable et où il n'est pas sans objet.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le canton du Valais versera au recourant une indemnité de 1'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du Valais, IIe Cour pénale.
Lausanne, le 2 septembre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod