Faits :
A.
Par jugement du 11 novembre 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour rixe, à une peine pécuniaire de 240 jours-amende à 50 fr. le jour, avec sursis pendant trois ans. Par le même jugement, le tribunal a notamment condamné A._, B._ et C._ pour rixe et a acquitté un quatrième coprévenu de ce chef d'accusation.
B.
Par jugement du 4 mai 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._. Elle a par ailleurs également rejeté l'appel de A._ et a partiellement admis les appels interjetés par B._ et C._.
En bref, la condamnation de X._ se fonde sur les principaux éléments de fait suivants.
Le 15 décembre 2012, X._ s'est rendu dans l'établissement D._, à E._, en compagnie de son frère A._ et d'un ami. A l'intérieur, les trois intéressés ont discuté avec B._, lequel leur a indiqué que A._ devait quitter l'établissement. Après que la conversation se fut envenimée et que C._, co-gérant du club et frère de B._, fut intervenu pour soutenir ce dernier, une bagarre a éclaté entre les différents protagonistes. Ceux-ci, dont X._, ont tous pris part à la lutte, en échangeant des coups. D'autres individus présents dans l'établissement se sont également joints à l'échauffourée. La plupart des personnes présentes dans le club en sont ensuite sorties pour échapper aux effets d'un spray au poivre utilisé par le gérant dans le but de disperser les combattants. A l'extérieur, X._, A._, B._ et C._ ont poursuivi le combat. Parmi ceux-ci, X._ est le seul à ne pas avoir été blessé au cours de l'altercation. B._ et C._ ont quant à eux souffert de diverses lésions physiques et psychiques ensuite de ces événements.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement en concluant, avec suite de dépens, à sa réforme en ce sens qu'il soit libéré de toute peine et de tous frais, ainsi qu'au renvoi de la cause à l'instance cantonale pour que celle-ci fixe une indemnité en sa faveur à titre de l'<ref-law>. Il sollicite en outre l'octroi de l'effet suspensif.
Le 6 juin 2017, X._ a encore adressé un courrier au Tribunal fédéral afin de réitérer sa demande d'effet suspensif.

Considérant en droit :
1.
Le recourant conteste l'appréciation des preuves et l'établissement des faits, en se plaignant de la violation du principe "in dubio pro reo".
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 6.3 p. 375). Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3.1 p. 253). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe "in dubio pro reo" n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (cf. <ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.4 pp. 367 s. et les références citées).
1.2. En substance, la cour cantonale a retenu que le recourant avait activement participé à la bagarre dans le club puis à l'extérieur de celui-ci. Elle a exposé les éléments qui l'avaient poussée à écarter une intention purement défensive chez le recourant et à retenir au contraire que celui-ci s'en était pris activement à B._ et C._. Elle a en particulier indiqué que les blessures subies par B._ et C._ s'avéraient trop graves pour résulter de coups purement défensifs. Le recourant, à défaut d'avoir cherché à séparer les combattants, avait admis avoir asséné plusieurs coups de poings à C._ tandis que ce dernier se battait au sol avec A._. Différents témoins avaient en outre affirmé avoir aperçu une violente bagarre à laquelle tous les protagonistes participaient activement.
1.3. Selon le recourant, la cour cantonale aurait dû retenir qu'il avait pris part à la rixe du 15 décembre 2012 uniquement pour défendre son frère et séparer les combattants. A l'appui de son grief, il invoque sa situation professionnelle et familiale, l'absence d'antécédents pénaux, la constance de ses déclarations en cours d'enquête ainsi que l'absence de témoins infirmant sa version des faits. De la sorte, le recourant se contente de discuter de manière générale l'appréciation des preuves à laquelle s'est livrée la cour cantonale, sans démontrer dans quelle mesure les faits auraient été établis de façon manifestement inexacte. Purement appellatoire, le grief du recourant est ainsi irrecevable.
2.
Le recourant fait grief à l'autorité cantonale d'avoir violé l'<ref-law>.
2.1. Selon l'<ref-law>, celui qui aura pris part à une rixe ayant entraîné la mort d'une personne ou une lésion corporelle sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (al. 1). N'est pas punissable celui qui se sera borné à repousser une attaque, à défendre autrui ou à séparer les combattants (al. 2).
Se borne à repousser une attaque, à défendre autrui ou à séparer les combattants, au sens de l'<ref-law>, celui qui participe effectivement à la rixe par son engagement physique, mais qui a pour but exclusif de se protéger, de protéger un tiers ou de séparer les protagonistes. Il agit alors seulement pour défendre sa personne ou d'autres individus ou pour séparer les adversaires. Par son comportement, il ne provoque ni n'alimente le combat d'une quelconque manière. Il n'augmente pas les risques propres à la rixe, voire cherche à les éliminer (<ref-ruling> consid. 2.1.2 p. 153).
2.2. Le recourant conteste sa condamnation pour rixe non sur la base des faits retenus, dont il n'a pas démontré l'arbitraire, mais en se fondant sur les faits qu'il invoque librement. En particulier, il n'indique pas pour quel motif il aurait dû, sur la base de l'état de fait de la cour cantonale, être mis au bénéfice de l'<ref-law>. Il n'expose ainsi nullement en quoi le jugement attaqué violerait le droit, comme l'exige l'<ref-law>. Au demeurant, la cour cantonale a expliqué pourquoi, sur la base de l'état de fait retenu, l'implication du prénommé dans la rixe, notamment la violence qu'il y a déployée et l'assistance qu'il a prêtée à A._ afin de vaincre B._ et C._, excluait de considérer son intervention comme purement protectrice ou défensive. Partant, la cour cantonale n'a pas violé le droit fédéral en considérant que le recourant n'avait pas pris part à la rixe dans le but exclusif de se protéger, de protéger un tiers ou de séparer les protagonistes, et en s'abstenant, en conséquence, d'exclure sa punissabilité sur la base de l'<ref-law>. Le grief du recourant doit être rejeté dans la mesure où il est recevable.
3.
Vu le sort du recours, la demande d'indemnité du recourant fondée sur l'<ref-law> est infondée.
4.
Le recours doit ainsi être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, devra supporter les frais judiciaires (<ref-law>).
La cause étant tranchée, la demande d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 juin 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Livet