Faits:
A. Le 8 février 2010 à 02h15, Y._ a été interpellé à Lausanne en vue d'un contrôle d'identité par X._, brigadier au sein de la Police municipale de Lausanne, et deux autres policiers. L'intéressé, qui s'était enfui à leur vue, a finalement été identifié, arrêté, menotté, puis emmené à l'Hôtel de police. Au terme des contrôles d'usage, X._ lui a demandé pour quelle raison il ne s'était pas arrêté malgré leur sommation. L'intéressé a répondu en anglais et avec le sourire qu'il aimait la course à pied. Le brigadier lui a alors demandé en anglais s'il souhaitait être emmené dans un endroit où il pouvait pratiquer ce sport, ce à quoi Y._ a répondu par l'affirmative toujours en souriant.
Les agents de police l'ont alors conduit à la Place des fêtes de Sauvabelin. Chemin faisant, X._ a expliqué à ses collègues que Y._ était sportif, qu'il aimait courir et désirait par conséquent être conduit dans un endroit où il pouvait s'adonner à la course à pied. Une fois sur place, Y._ est descendu de la voiture et le brigadier lui a indiqué la direction de la piste finlandaise de Sauvabelin ainsi que celle du centre ville. Les deux collègues de X._ sont restés à bord du véhicule de service durant toute la durée de l'échange. Environ trente minutes plus tard, à la suite d'un appel téléphonique de Y._, égaré, l'un des opérateurs de la centrale de la police a demandé quels étaient les collègues qui avaient laissé un individu dans les bois de Sauvabelin. X._ s'est annoncé spontanément. La patrouille a alors entrepris de regagner la Place des fêtes de Sauvabelin. Dans l'intervalle, Y._ a informé l'opérateur de la centrale qu'il avait retrouvé son chemin.
B. Par jugement du 5 octobre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre un jugement du Tribunal de police de l'arrondissement de Lausanne du 24 février 2011 le reconnaissant coupable d'abus d'autorité (<ref-law>) et le condamnant à une peine pécuniaire de 7 jours-amende à 80 francs l'un, avec sursis et délai d'épreuve de deux ans.
C. X._ interjette un recours en matière pénale au Tribunal fédéral contre l'arrêt de la Cour d'appel pénale dont il demande la réforme, en ce sens qu'il est libéré de l'infraction d'abus d'autorité. A titre subsidiaire, il conclut au renvoi de la cause à l'autorité de première instance pour nouveau jugement au sens des considérants, plus subsidiairement à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente. Il sollicite en outre l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque une violation de l'<ref-law> dont il soutient que les conditions ne sont pas réalisées.
1.1 Selon la Cour d'appel, le recourant avait profité de sa position de détenteur de la puissance publique pour imposer à un individu une activité prétendument sportive dans un lieu et à une heure totalement inappropriés pour ce genre d'activité, en hiver, et sous le couvert de sa fonction officielle alors qu'il aurait dû être libéré au terme des vérifications d'usage à l'Hôtel de police. Le recourant ne pouvait déduire des réponses affirmatives de l'intéressé à ses questions qu'il avait consenti à être emmené et déposé en hiver et en pleine nuit dans la forêt pour y faire un jogging. Il appartenait au policier de ne pas prendre au premier degré une provocation anodine et surtout de ne pas y donner suite. En procédant comme il l'avait fait, le recourant avait porté atteinte à la liberté individuelle et de mouvement de la personne interpellée en lui imposant un déplacement ne trouvant aucune justification dans l'exercice de la puissance publique. On ne pouvait donc pas parler de mauvaise plaisanterie. Le recourant avait, à l'évidence, eu l'intention de donner une leçon à l'intéressé, donc de lui nuire, ne serait-ce que par dol éventuel.
1.2 L'<ref-law> réprime le fait pour un membre d'une autorité ou un fonctionnaire d'abuser des pouvoirs de sa charge dans le dessein de se procurer ou de procurer à un tiers un avantage illicite ou de nuire à autrui. L'abus d'autorité est l'emploi de pouvoirs officiels dans un but contraire à celui recherché. Cette disposition protège, d'une part, l'intérêt de l'État à disposer de fonctionnaires loyaux qui utilisent les pouvoirs qui leur ont été conférés en ayant conscience de leur devoir et, d'autre part, l'intérêt des citoyens à ne pas être exposés à un déploiement de puissance étatique incontrôlé et arbitraire (<ref-ruling> consid. 1b p. 212).
Sur le plan objectif, l'infraction réprimée par cette disposition suppose que l'auteur, soit un membre d'une autorité ou un fonctionnaire au sens de l'<ref-law>, qu'il ait agi dans l'accomplissement de sa tâche officielle et qu'il ait abusé des pouvoirs inhérents à cette tâche. Cette dernière condition est réalisée lorsque l'auteur use illicitement des pouvoirs qu'il détient de sa charge, c'est-à-dire lorsqu'il décide ou contraint en vertu de sa charge officielle dans un cas où il ne lui était pas permis de le faire (<ref-ruling> consid. 1a/aa p. 211; <ref-ruling> consid. 2 p. 43; <ref-ruling> consid. 1 p. 30). L'infraction peut aussi être réalisée lorsque l'auteur poursuit un but légitime, mais recourt, pour l'atteindre, à des moyens disproportionnés (ATF <ref-ruling> consid. 1 p. 30; <ref-ruling> consid. 2 p. 23). La jurisprudence a précisé qu'on ne peut généralement limiter, en matière de violence physique ou de contrainte exercée par un fonctionnaire, le champ d'application de l'<ref-law> aux cas où l'utilisation des pouvoirs officiels a pour but d'atteindre un objectif officiel. En effet, cette disposition protège également les citoyens d'atteintes totalement injustifiées ou du moins non motivées par l'exécution d'une tâche officielle, lorsque celles-ci sont commises par des fonctionnaires dans l'accomplissement de leur travail. Ainsi, au moins en matière de violence et de contrainte exercées par un fonctionnaire, l'application de l'<ref-law> dépend uniquement de savoir si l'auteur a utilisé ses pouvoirs spécifiques, s'il a commis l'acte qui lui est reproché sous le couvert de son activité officielle et s'il a ainsi violé les devoirs qui lui incombent. L'utilisation de la force ou de la contrainte doit apparaître comme l'exercice de la puissance qui échoit au fonctionnaire en vertu de sa position officielle (<ref-ruling> consid. 1b p. 213).
Du point de vue subjectif, l'infraction suppose un comportement intentionnel, au moins sous la forme du dol éventuel, ainsi qu'un dessein spécial, qui peut se présenter sous deux formes alternatives, soit le dessein de se procurer ou de procurer à un tiers un avantage illicite, soit le dessein de nuire à autrui.
Du point de vue subjectif, l'infraction suppose un comportement intentionnel, au moins sous la forme du dol éventuel, ainsi qu'un dessein spécial, qui peut se présenter sous deux formes alternatives, soit le dessein de se procurer ou de procurer à un tiers un avantage illicite, soit le dessein de nuire à autrui.
1.3 1.3.1 Le recourant conteste avoir contraint la personne interpellée. Celle-ci ne se trouvait pas dans une situation d'infériorité ou de détresse face à lui, ce que son attitude, axée sur le ton de la plaisanterie, démontrait. Elle n'avait manifesté aucune opposition à son déplacement.
1.3.2 Il ne fait aucun doute que le recourant, fonctionnaire, disposait de la puissance publique au moment où il a agi. Il ne critique pas les constatations cantonales (<ref-law>) selon lesquelles l'intéressé aurait dû être relâché au terme des vérifications d'usage à l'Hôtel de police. Il reconnaît du reste expressément que le déplacement de la personne interpellée à Sauvabelin n'était pas justifiée par l'exercice de la puissance publique. En agissant comme il l'a fait, le recourant a donc porté atteinte de manière illicite à la liberté individuelle et de mouvement de l'intéressé en abusant des pouvoirs de sa charge. Le recourant se prévaut de l'absence d'opposition de sa part. Il est constant que l'intéressé se trouvait sous la garde du recourant et de ses deux collègues sans moyen de défense depuis le début de son interpellation jusqu'à ce qu'il soit relâché dans les bois de Sauvabelin. Il n'était ainsi ni en mesure ni en situation de s'opposer aux actes et décisions du recourant. Que l'intéressé se soit senti ou non en état de détresse ou d'infériorité est sans pertinence quant à la réalisation des conditions objectives de l'infraction. L'autorité cantonale a constaté, de manière à lier la cour de céans (<ref-law>), que le recourant ne pouvait déduire des réponses affirmatives de l'intéressé à ses questions qu'il avait manifesté son accord à être emmené, puis déposé en hiver, en pleine nuit dans la forêt pour y pratiquer un jogging, ce que le recourant ne conteste pas. Ce dernier n'a pu le conduire en cet endroit que grâce à sa fonction officielle et en profitant de sa position de puissance publique alors que rien ne justifiait cette atteinte à la liberté de mouvement de la personne interpellée. Le comportement du recourant remplit les éléments constitutifs objectifs de l'<ref-law> comme l'autorité cantonale l'a retenu à juste titre. Le grief du recourant se révèle infondé sur ce point.
1.3.2 Il ne fait aucun doute que le recourant, fonctionnaire, disposait de la puissance publique au moment où il a agi. Il ne critique pas les constatations cantonales (<ref-law>) selon lesquelles l'intéressé aurait dû être relâché au terme des vérifications d'usage à l'Hôtel de police. Il reconnaît du reste expressément que le déplacement de la personne interpellée à Sauvabelin n'était pas justifiée par l'exercice de la puissance publique. En agissant comme il l'a fait, le recourant a donc porté atteinte de manière illicite à la liberté individuelle et de mouvement de l'intéressé en abusant des pouvoirs de sa charge. Le recourant se prévaut de l'absence d'opposition de sa part. Il est constant que l'intéressé se trouvait sous la garde du recourant et de ses deux collègues sans moyen de défense depuis le début de son interpellation jusqu'à ce qu'il soit relâché dans les bois de Sauvabelin. Il n'était ainsi ni en mesure ni en situation de s'opposer aux actes et décisions du recourant. Que l'intéressé se soit senti ou non en état de détresse ou d'infériorité est sans pertinence quant à la réalisation des conditions objectives de l'infraction. L'autorité cantonale a constaté, de manière à lier la cour de céans (<ref-law>), que le recourant ne pouvait déduire des réponses affirmatives de l'intéressé à ses questions qu'il avait manifesté son accord à être emmené, puis déposé en hiver, en pleine nuit dans la forêt pour y pratiquer un jogging, ce que le recourant ne conteste pas. Ce dernier n'a pu le conduire en cet endroit que grâce à sa fonction officielle et en profitant de sa position de puissance publique alors que rien ne justifiait cette atteinte à la liberté de mouvement de la personne interpellée. Le comportement du recourant remplit les éléments constitutifs objectifs de l'<ref-law> comme l'autorité cantonale l'a retenu à juste titre. Le grief du recourant se révèle infondé sur ce point.
1.4 1.4.1 Le recourant conteste avoir eu le dessein de nuire. Il soutient que la Cour d'appel a écarté arbitrairement le témoignage du policier Z._ qui était d'avis que le recourant ne pensait pas à mal en agissant comme il l'avait fait.
1.4.2 Déterminer ce qu'une personne a su, envisagé, voulu ou accepté relève de l'établissement des faits (<ref-ruling> consid. 4.2.3 p. 4 s; <ref-ruling> consid. 2.3.2 p. 156), que le Tribunal fédéral ne peut réexaminer que lorsqu'il est entaché d'inexactitude manifeste (<ref-law>), à savoir d'arbitraire (<ref-ruling> consid. 1.4.1 p. 39). Est en revanche une question de droit, celle de savoir si l'autorité cantonale s'est fondée sur une juste conception du dol éventuel et si elle l'a correctement appliquée au vu des éléments retenus, en particulier en cas d'absence d'aveux, au vu des éléments extérieurs en tant qu'ils sont révélateurs du contenu de la volonté (ATF <ref-ruling> consid. 2.3.2 p. 156 et réf. citée), étant rappelé qu'il y a dol éventuel lorsque l'auteur envisage le résultat dommageable, mais agit néanmoins, même s'il ne le souhaite pas, parce qu'il s'en accommode pour le cas où il se produirait (<ref-ruling> consid. 4.2.3 p. 4).
En se bornant à opposer la déclaration du policier Z._ - lequel n'était pas présent au moment des faits litigieux - aux considérants de la Cour d'appel qui a exposé qu'en procédant comme il l'avait fait, le recourant avait agi pour donner une leçon à la personne interpellée dans le dessein de lui nuire, le recourant n'expose pas de manière détaillée et circonstanciée, conformément aux exigences accrues de motivation en matière de violation des droits constitutionnels (<ref-law>; <ref-ruling> consid. 2.2 p. 246; <ref-ruling> consid. 1.4 p. 287), en quoi ce témoignage serait de nature à rendre insoutenables les constatations de la Cour d'appel sur le dessein de nuire. Le grief est irrecevable.
1.4.3 Enfin, quand le recourant reproche, sous couvert d'arbitraire, à la Cour d'appel d'avoir considéré comme non pertinent l'exclusion de tout sentiment de peur chez la personne interpellée, il n'expose pas en quoi cette circonstance, au demeurant non établie, serait décisive quant aux conditions d'application de la norme. Son grief est irrecevable.
2. En conséquence, il y a lieu d'admettre que c'est sans violer le droit fédéral que l'autorité cantonale a reconnu le recourant coupable d'abus d'autorité au sens de l'<ref-law>.
Les conclusions du recourant étaient d'emblée dénuées de chance de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant, qui succombe, supporte les frais de la procédure, qui seront fixés en tenant compte de sa situation économique qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens au Ministère public, intimé (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure de sa recevabilité.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 février 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben