Faits:
A. Par jugement du 16 mars 2011, le Tribunal de police du canton de Genève a reconnu X._ coupable d'instigation à abus de confiance, l'a condamné à 20 jours-amende à 130 fr. le jour avec sursis pendant 3 ans et l'a acquitté du chef de contravention aux art. 3 et 10 de la loi genevoise sur les manifestations sur le domaine public. Les droits de la partie civile Y._ ont été réservés s'agissant de ses frais d'avocat.
B. Par arrêt du 29 novembre 2011, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a partiellement admis l'appel de Y._, condamné X._ à payer à cette dernière une indemnité de 10'000 fr. avec intérêt à 5% l'an dès le 17 mars 2011 à titre de participation à ses frais d'avocat avant procès et confirmé le jugement pour le surplus, rejetant ainsi l'appel formé par X._.
En bref, il ressort les éléments suivants de cet arrêt.
A l'automne 2007, dans le cadre de la fermeture d'une filiale de Y._, le syndicat Z._ a revendiqué un plan social. Les négociations ont échoué. Le 7 novembre 2007, les employés concernés ont entamé une grève. Le recourant, secrétaire syndical en charge de ce dossier, leur a suggéré de vendre de la marchandise, mais en acceptant uniquement les paiements en espèces et sans utiliser les caisses enregistreuses, et de garder la recette de la journée ainsi que le fond de caisse afin de constituer une monnaie d'échange pour les négociations futures. En fin de journée, le recourant a pris possession de l'entier de la recette et du fond de caisse (environ 8'600 fr.), qui a ensuite été conservé par Z._. Ce dernier a distribué aux anciens employés de la filiale 7'100 fr. au titre du plan social non avalisé. Le solde a été remis au Procureur général, à sa demande, le 23 avril 2008.
Le 4 décembre 2009, Z._ a restitué 7'100 fr. à Y._, les parties requérant en parallèle que le montant remis au Procureur soit versé à la partie civile, ce qui fut fait le 21 janvier 2010.
C. X._ forme un recours en matière pénale. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt en tant qu'il maintient sa condamnation à une peine pécuniaire de 20 jours-amende à 130 fr. avec sursis pendant 3 ans et à sa réforme en ce sens qu'il est exempté de toute peine.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant se plaint d'une violation de l'article 53 CP.
1.1 Aux termes de cette disposition, lorsque l'auteur a réparé le dommage ou accompli tous les efforts que l'on pouvait raisonnablement attendre de lui pour compenser le tort qu'il a causé, l'autorité compétente renonce à le poursuivre, à le renvoyer devant le juge ou à lui infliger une peine si les conditions du sursis à l'exécution de la peine sont remplies (let. a) et si l'intérêt public et l'intérêt du lésé à poursuivre l'auteur pénalement sont peu importants (let. b).
Cette norme vise avant tout l'intérêt du lésé qui préfère en général être dédommagé que de voir l'auteur puni. Cette possibilité fait appel au sens des responsabilités de l'auteur en le rendant conscient du tort qu'il a causé. Elle doit contribuer à améliorer les relations entre l'auteur et le lésé et à rétablir ainsi la paix publique. La réparation du dommage justifie une exemption de peine et l'intérêt à punir est réduit à néant parce que l'auteur effectue de façon active une prestation sociale à des fins de réconciliation et de rétablissement de la paix publique. L'intérêt public à la poursuite pénale doit être minime, voire inexistant. Il est ainsi tenu compte des cas dans lesquels aucun particulier n'est lésé. Par ailleurs, cette condition tend à éviter que les auteurs fortunés puissent monnayer leur sanction (<ref-ruling> consid. 3.4.1 p. 21).
1.2 La réparation du dommage peut revêtir plusieurs formes. Elle peut consister dans la restitution de l'objet volé ou dans le versement de dommages-intérêts. Si la réparation effective n'est pas possible, elle ne peut revêtir qu'un caractère symbolique et consister, par exemple, en un cadeau ou en un travail accompli en faveur de la victime, ou encore en une prestation à la collectivité (Message concernant la modification du code pénal suisse [dispositions générales, entrée en vigueur et application du code pénal] et du code pénal militaire ainsi qu'une loi fédérale régissant la condition pénale des mineurs, du 21 septembre 1998, FF 1999 1787 ss, spéc. 1872 ss; HANS WIPRÄCHTIGER, Revision des Allgemeinen Teils des StGB, Änderung im Schatten des Sanktionenerechts, RPS 123/2005 p. 403, spéc. 427; v. aussi : FRANZ RIKLIN, in Basler Kommentar, Strafrecht, 2e éd 2007, no 9 ad. <ref-law>; TRECHSEL/PAUEN BORER, in Schweizerisches Strafgesetzbuch, Praxiskommentar, 2008, no 5 ad <ref-law>). Il n'est pas nécessaire que l'auteur répare entièrement le dommage. Il suffit qu'il entreprenne tous les efforts que l'on peut exiger de lui, en tenant compte de ses possibilités et de ses limites. Il appartient à l'autorité compétente de déterminer si l'auteur a fourni les efforts nécessaires au regard de l'ensemble des circonstances, notamment de sa culpabilité et de sa situation financière. Elle dispose à cet égard d'un large pouvoir d'appréciation (v. FF 1999 1787 ss, spéc. 1873; v. aussi : TRECHSEL/PAUEN BORER, op. cit., no 3 ad art. 53; STRATENWERTH, Schweizerisches Strafrecht, AT II, 2e éd. Berne 2006, § 7 no 11; RIKLIN op. cit., no 8 ad <ref-law>; WIPRÄCHTIGER, op. cit., p. 427).
1.3 En résumé, la cour cantonale a considéré que le recourant n'avait consenti aucun effort particulier pour réparer le tort causé. Le montant indûment prélevé avait été remboursé par Z._. Ce remboursement était intervenu plus de deux ans après les faits. Le recourant n'avait rien entrepris en vue de la réparation du préjudice correspondant aux frais d'avocat. Ayant soutenu avoir utilisé un moyen d'action parmi d'autres, il n'avait pas pris pleinement conscience de l'illicéité et de la gravité de ses agissements, nonobstant les quelques regrets exprimés. Sa culpabilité et l'infraction étaient graves. Il y avait un intérêt public de prévention générale à rappeler que la défense d'intérêts collectifs et légitimes ne justifiait pas le recours à des moyens illicites et que l'interdiction de ceux-ci visait à préserver la paix du travail.
1.4 Le recourant soutient tout d'abord avoir réparé complètement le dommage. Il en conclut que la cour cantonale a recherché en vain s'il avait consenti un effort particulier et refusé pour ce motif l'exemption de peine.
L'arrêt entrepris ne constate pas que tout le préjudice de la partie civile aurait été compensé, puisqu'il porte, au contraire, condamnation du recourant à une indemnité correspondant aux frais d'avocat de la partie civile avant procès. A cet égard, on peut rappeler que, selon la jurisprudence, les frais d'intervention avant procès de la partie civile doivent être traités comme les dommages qui résultent directement d'une atteinte à l'intégrité corporelle ou aux choses (v. <ref-ruling> consid. 4; arrêt 4C.51/2000 du 7 août 2000 consid. 2, in SJ 2000 I 153). Dans la perspective de l'<ref-law>, ces frais constituent un élément du dommage. Le recourant objecte certes que la partie civile n'a fait valoir ses frais d'avocat qu'à fin 2009 à concurrence de quelques 20'000 fr., qu'elle n'a chiffré ses conclusions à 39'500 fr. qu'en première instance, qu'elle n'a produit certaines pièces qu'en appel et que ses conclusions n'ont été allouées qu'à concurrence de 10'000 francs. Il n'en demeure pas moins que l'ensemble du dommage n'a pas été réparé et que c'est donc à bon droit que la cour cantonale a examiné si le recourant avait fourni tous les efforts que l'on pouvait raisonnablement attendre de lui pour compenser le tort causé.
A ce sujet, selon les constatations cantonales, qui lient le Tribunal fédéral (<ref-law>), ce n'est pas le recourant qui a remboursé à Y._ le montant indûment prélevé, mais Z._. Il ne ressort pas du dossier que le recourant aurait effectué une quelconque prestation en faveur de Z._ en compensation du paiement effectué. Contrairement à ce qu'affirme le recourant, il n'appartenait pas à la cour cantonale d'établir si un éventuel arrangement interne avait été conclu entre lui et Z._. En effet, le fardeau de la preuve d'un fait justificatif, tout comme d'ailleurs celui de la preuve libératoire en matière d'infraction contre l'honneur, incombe à l'accusé (arrêt 6B_461/2008 du 4 septembre 2008 consid. 3.3.4 et 6B_869/2010 du 16 septembre 2011 consid. 4.5). A cela s'ajoute que le remboursement des sommes soustraites à la partie civile est intervenu après deux ans, période durant laquelle le recourant n'a entamé aucuns pourparlers en vue d'un quelconque dédommagement que ce soit concernant le montant indûment prélevé ou les frais d'avocat. Ces derniers n'ont certes été chiffrés qu'à fin 2009 et pour un montant qui a, par la suite, été réduit par l'autorité cantonale. Il n'en demeure pas moins que le recourant n'a jamais formulé la moindre proposition pour l'indemnisation même partielle de ce poste du dommage. Fondée sur ces différents éléments, la cour cantonale n'a ni excédé ni abusé de son large pouvoir d'appréciation en refusant d'exempter le recourant de toute peine. Cela conduit au rejet du recours sans qu'il soit nécessaire d'examiner si les conditions de l'article 53 let. b CP sont quant à elles réalisées.
2. Le recours doit ainsi être rejeté. Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 4 juin 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet