Faits : A. Par jugement du 11 novembre 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour rixe, à une peine pécuniaire de 240 jours-amende à 50 fr. le jour, avec sursis pendant trois ans. Par le même jugement, le tribunal a notamment condamné A._, B._ et C._ pour rixe et a acquitté un quatrième coprévenu de ce chef d'accusation. B. Par jugement du 4 mai 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._. Elle a par ailleurs également rejeté l'appel de A._ et a partiellement admis les appels interjetés par B._ et C._. En bref, la condamnation de X._ se fonde sur les principaux éléments de fait suivants. Le 15 décembre 2012, X._ s'est rendu dans l'établissement D._, à E._, en compagnie de son frère A._ et d'un ami. A l'intérieur, les trois intéressés ont discuté avec B._, lequel leur a indiqué que A._ devait quitter l'établissement. Après que la conversation se fut envenimée et que C._, co-gérant du club et frère de B._, fut intervenu pour soutenir ce dernier, une bagarre a éclaté entre les différents protagonistes. Ceux-ci, dont X._, ont tous pris part à la lutte, en échangeant des coups. D'autres individus présents dans l'établissement se sont également joints à l'échauffourée. La plupart des personnes présentes dans le club en sont ensuite sorties pour échapper aux effets d'un spray au poivre utilisé par le gérant dans le but de disperser les combattants. A l'extérieur, X._, A._, B._ et C._ ont poursuivi le combat. Parmi ceux-ci, X._ est le seul à ne pas avoir été blessé au cours de l'altercation. B._ et C._ ont quant à eux souffert de diverses lésions physiques et psychiques ensuite de ces événements. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement en concluant, avec suite de dépens, à sa réforme en ce sens qu'il soit libéré de toute peine et de tous frais, ainsi qu'au renvoi de la cause à l'instance cantonale pour que celle-ci fixe une indemnité en sa faveur à titre de l'art. 429 CPP. Il sollicite en outre l'octroi de l'effet suspensif. Le 6 juin 2017, X._ a encore adressé un courrier au Tribunal fédéral afin de réitérer sa demande d'effet suspensif.