Faits:
A. A.a Y._ a été interpellé par la Police municipale de Lausanne dans la nuit du 16 au 17 juillet 2009, à la suite d'un appel du service de sécurité de la discothèque dans laquelle il se trouvait. Amené à l'hôtel de police, et placé en box de maintien, il s'est mis à frapper contre les murs et à donner des coups de pieds contre la porte. Il a enlevé son t-shirt et fait mine de le mettre autour de son cou. Il en a fait de même avec ses pantalons.
A.b Le 17 juillet 2009, à 4 heures du matin, X._, brigadier à la section D de Police-secours, a pris son service à l'Hôtel de police succédant à ses collègues qui avaient procédé à l'interpellation de Y._. Au vu du comportement excité et auto-agressif du jeune homme, il a été décidé de placer celui-ci sur un lit de contention afin de le protéger contre lui-même. C'est X._ qui, avec son équipe, s'en est chargé. Selon la procédure, les policiers devaient être au nombre de six au moins et X._ donnait les instructions à ses collègues.
A.c Au moment d'être placé sur le lit de contention, Y._ était calme et a obtempéré, mais lorsqu'il s'est retrouvé seul dans le box de maintien, couché sur le dos et attaché au lit, il a tout essayé pour se libérer de ses liens. Il est notamment parvenu à se détacher partiellement et à uriner sur le sol et le mur. Son comportement a nécessité plusieurs interventions de la part des agents, au cours desquelles le jeune homme les a invectivés et a craché au visage de X._. Lors d'une nouvelle manoeuvre des agents visant à remettre en place les liens et sangles pour maintenir Y._ en place, à un moment situé entre 05h37 et 05h49, le jeune homme a à nouveau craché au visage de X._ et s'est mis à proférer des insultes à son encontre. Lorsqu'il a dit au brigadier qu'il "baisait ses filles", X._ lui a assené un coup de poing sur le côté droit du visage, occasionnant une entaille à la lèvre supérieure qui a nécessité par la suite deux points de suture.
B. Par jugement du 23 juin 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a réformé un jugement du Tribunal de police de l'arrondissement de Lausanne en ce sens que X._ est reconnu coupable d'abus d'autorité (art. 312 CP) et condamné à une peine pécuniaire de 5 jours-amende à 75 francs l'un, avec sursis et délai d'épreuve de deux ans.
C. X._ interjette un recours en matière pénale au Tribunal fédéral contre l'arrêt de la Cour d'appel pénale. Il conclut à l'annulation de celui-ci, à son acquittement, ainsi qu'à ce que les frais de la procédure soient laissés à la charge de l'Etat. A titre subsidiaire, il demande le renvoi de la cause à l'autorité de première instance pour nouveau jugement au sens des considérants. A titre encore plus subsidiaire, il sollicite l'annulation de l'arrêt cantonal et le renvoi de la cause à l'autorité précédente. Il assortit finalement son recours d'une requête d'effet suspensif.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recourant invoque une violation de l'art. 312 CP.
1.1 L'art. 312 CP réprime le fait pour un membre d'une autorité ou un fonctionnaire d'abuser des pouvoirs de sa charge dans le dessein de se procurer ou de procurer à un tiers un avantage illicite ou de nuire à autrui. L'abus d'autorité est l'emploi de pouvoirs officiels dans un but contraire à celui recherché. Cette disposition protège, d'une part, l'intérêt de l'État à disposer de fonctionnaires loyaux qui utilisent les pouvoirs qui leur ont été conférés en ayant conscience de leur devoir et, d'autre part, l'intérêt des citoyens à ne pas être exposés à un déploiement de puissance étatique incontrôlé et arbitraire (ATF 127 IV 209 consid. 1b p. 212).
Sur le plan objectif, l'infraction réprimée par cette disposition suppose que l'auteur soit un membre d'une autorité ou un fonctionnaire au sens de l'art. 110 al. 3 CP, qu'il ait agi dans l'accomplissement de sa tâche officielle et qu'il ait abusé des pouvoirs inhérents à cette tâche. Cette dernière condition est réalisée lorsque l'auteur use illicitement des pouvoirs qu'il détient de sa charge, c'est-à-dire lorsqu'il décide ou contraint en vertu de sa charge officielle dans un cas où il ne lui était pas permis de le faire (ATF 127 IV 209 consid. 1a/aa p. 211; 114 IV 41 consid. 2 p. 43; 113 IV 29 consid. 1 p. 30). L'infraction peut aussi être réalisée lorsque l'auteur poursuit un but légitime, mais recourt, pour l'atteindre, à des moyens disproportionnés (ATF 113 IV 29 consid. 1 p. 30; 104 IV 22 consid. 2 p. 23). La jurisprudence a précisé qu'on ne peut généralement limiter, en matière de violence physique ou de contrainte exercée par un fonctionnaire, le champ d'application de l'art. 312 CP aux cas où l'utilisation des pouvoirs officiels a pour but d'atteindre un objectif officiel. En effet, cette disposition protège également les citoyens d'atteintes totalement injustifiées ou du moins non motivées par l'exécution d'une tâche officielle, lorsque celles-ci sont commises par des fonctionnaires dans l'accomplissement de leur travail. Ainsi, au moins en matière de violence et de contrainte exercées par un fonctionnaire, l'application de l'art. 312 CP dépend uniquement de savoir si l'auteur a utilisé ses pouvoirs spécifiques, s'il a commis l'acte qui lui est reproché sous le couvert de son activité officielle et s'il a ainsi violé les devoirs qui lui incombent. L'utilisation de la force ou de la contrainte doit apparaître comme l'exercice de la puissance qui échoit au fonctionnaire en vertu de sa position officielle (ATF 127 IV 209 consid. 1b p. 213).
Du point de vue subjectif, l'infraction suppose un comportement intentionnel, au moins sous la forme du dol éventuel, ainsi qu'un dessein spécial, qui peut se présenter sous deux formes alternatives, soit le dessein de se procurer ou de procurer à un tiers un avantage illicite ou le dessein de nuire à autrui.
1.2 Le recourant fait valoir qu'il n'a pas frappé Y._ en faisant usage des pouvoirs inhérents à sa fonction de policier, mais qu'il a réagi par un coup, qualifié d'instinctif par l'autorité cantonale, en réponse à une attaque personnelle portée contre ses filles. Il conteste la réalisation de l'élément constitutif objectif.
1.2.1 La cour cantonale a considéré qu'en frappant Y._, qui était sans défense et sous sa garde, le recourant avait agi en étant protégé par son pouvoir (jugement entrepris, consid. 3.2, p. 13 s.).
Au regard des constatations cantonales (art. 105 al. 1 LTF), il ne fait aucun doute que le recourant disposait de la puissance publique au moment où il a agi et qu'il a abusé de ses pouvoirs en sa qualité de policier. C'est lui qui, avec son équipe, a placé puis attaché Y._ sur le lit de contention, dans une cellule de maintien de l'Hôtel de police, inaccessible au public. Le jeune homme se trouvait ainsi effectivement sous la garde du recourant qui devait en conséquence veiller à sa sécurité. Lorsqu'il est retourné dans la cellule avec quatre autres de ses collègues pour ajuster et fixer une nouvelle fois les liens de Y._, ce dernier était immobilisé sur un lit de contention, chevilles, mains, épaules et torse attachés. Comme relevé par l'autorité précédente, Y._ se trouvait donc à sa merci et sans défense, au moment où le recourant lui a asséné un coup de poing au visage. Ce dernier n'a pu le frapper que grâce à sa fonction officielle et en profitant de sa position de puissance particulière. Au vu des principes dégagés par la jurisprudence (consid. 1.1), la circonstance que le coup administré n'avait pas pour but d'accomplir une tâche officielle, mais relevait d'une émotion personnelle du recourant, choqué dans son sentiment de père, n'exclut pas la réalisation de l'infraction qui vise également les atteintes totalement injustifiées, si elles sont commises par des fonctionnaires durant l'accomplissement de leur travail. Le recourant se méprend lorsqu'il prétend que le présent cas serait semblable à celui à la base de l'ATF 108 IV 48. C'est cet arrêt qui a donné lieu à la précision de jurisprudence relative au champ d'application de la norme (ATF 127 IV 209). Dans un arrêt postérieur, le Tribunal fédéral a admis l'abus d'autorité de la part d'un policier qui avait giflé une personne interpellée se trouvant sous sa garde (arrêt 6B_649/2009 du 16 octobre 2009 consid. 2.5). Le comportement du recourant remplit les éléments constitutifs objectifs de l'art. 312 CP comme l'autorité cantonale l'a retenu à juste titre. Le grief du recourant se révèle infondé sur ce point.
1.3 Le recourant conteste que les éléments subjectifs de l'infraction en cause, à savoir qu'il avait conscience de son statut, qu'il a accepté l'éventualité d'abuser des pouvoirs de sa charge et qu'il a agi dans le dessein de nuire à autrui, soient réalisés.
1.3.1 Déterminer ce qu'une personne a su, envisagé, voulu ou accepté relève de l'établissement des faits (ATF 137 IV 1 consid. 4.2.3 p. 4 s; 135 IV 152 consid. 2.3.2 p. 156), que le Tribunal fédéral ne peut réexaminer que lorsqu'il est entaché d'inexactitude manifeste (art. 97 al. 1 LTF), à savoir d'arbitraire (ATF 134 IV 36 consid. 1.4.1 p. 39). Est en revanche une question de droit, celle de savoir si l'autorité cantonale s'est fondée sur une juste conception du dol éventuel et si elle l'a correctement appliquée au vu des éléments retenus, en particulier en cas d'absence d'aveux, au vu des éléments extérieurs en tant qu'ils sont révélateurs du contenu de la volonté (ATF 135 IV 152 consid. 2.3.2 p. 156 et réf. citée), étant rappelé qu'il y a dol éventuel lorsque l'auteur envisage le résultat dommageable, mais agit néanmoins, même s'il ne le souhaite pas, parce qu'il s'en accommode pour le cas où il se produirait (ATF 137 IV 1 consid. 4.2.3 p. 4).
1.3.2 L'autorité précédente a retenu que le recourant avait agi intentionnellement. Il ne pouvait qu'avoir conscience de son statut de policier lorsqu'il avait frappé le lésé dès lors que, au moment des faits, il était en service depuis près de deux heures, en uniforme, entouré de quatre collègues, dans un box de maintien de l'Hôtel de police et face à une personne qu'il avait lui-même attachée sur un lit de contention. Il pouvait envisager, au vu des circonstances d'espèce, que le jeune homme qui l'avait pris à partie et dont les insultes à son encontre allaient crescendo aurait réagi à la première tentative de le menotter au lit. Il convenait d'admettre que, par l'usage de la force, le recourant avait, à tout le moins, accepté l'éventualité d'abuser des pouvoirs de sa charge. En dernier lieu, l'instance cantonale a estimé que le coup de poing du recourant ne pouvait qu'être destiné à nuire à Y._ (jugement entrepris, consid. 3.3, p. 15).
1.3.3 L'allégation du recourant qui prétend avoir oublié l'espace d'un court instant son statut de policier ne trouve aucun appui dans les constatations de fait du jugement entrepris qui lient le Tribunal fédéral (art. 105 al. 1 LTF). Les éléments mentionnés par la cour cantonale, tels le fait que la personne que le recourant s'apprêtait à frapper se trouvait attachée sur un lit de contention, entourée d'autres policiers en uniforme, ne laisse pas de place au doute sur ce point. Il est en effet difficile de concevoir que le recourant ait pu, même durant un très bref instant, oublier où il se trouvait et en quelle qualité il agissait. Ce sont ces mêmes constatations qui conduisent à retenir qu'en portant volontairement dans ces circonstances un coup de poing à Y._, il a accepté l'éventualité de faire un usage illicite de son pouvoir dans le dessein de blesser physiquement le jeune homme, et partant de lui nuire. Le recourant ne conteste du reste pas que le comportement de Y._ avait une certaine prévisibilité, compte tenu de son attitude insultante qui allait croissant à son encontre, ce qui relativise dans une certaine mesure le caractère impulsif de son geste. Le motif pour lequel il a agi, à savoir un père qui veut défendre ses filles, est sans pertinence sur l'intention, mais a trait à l'examen de la culpabilité comme l'a retenu l'autorité cantonale. Au reste, contrairement à ce que prétend le recourant, l'abus d'autorité peut également être retenu lorsqu'un policier commet un geste impulsif en réponse à une injure (cf. arrêt 6B_649/2009 du 16 octobre 2009 consid. 3.7). Que le coup soit resté unique ou qu'il ait frappé à main nue ne sont pas davantage des critères pertinents pour exclure l'intention. Partant, le grief est infondé.
En conséquence, il y a lieu d'admettre que c'est sans violer le droit fédéral que l'autorité cantonale a reconnu le recourant coupable d'abus d'autorité au sens de l'art. 312 CP.
2. Le recourant, qui succombe, supportera les frais de justice (art. 66 al. 1 LTF). La requête d'effet suspensif est sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 janvier 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben