Faits:
A. Par jugement du 4 octobre 2011, le Juge I du district de Monthey a acquitté A.Y._ des chefs de violation du secret commercial (art. 162 CP) et de délit contre la concurrence déloyale (art. 23 LCD), acquitté X._ du chef d'utilisation abusive d'une installation de télécommunication (art. 179septies CP) et rejeté la demande d'indemnité pour tort moral de A.Y._ et B.Y._.
Cette décision a été notifiée sous forme de dispositif à l'avocat de X._ le 6 octobre 2011. Par courrier du 17 octobre 2011, l'avocat a sollicité la motivation du jugement. Le jugement motivé lui a été notifié le 27 octobre 2011. Par courrier du 7 novembre 2011, l'avocat a "confirm[é] la volonté de [s]on mandant d'annoncer appel à l'encontre dudit jugement". Il a déposé une déclaration d'appel le 16 novembre 2011.
B. Par jugement du 3 février 2012, la Juge de la Cour pénale II du Tribunal cantonal valaisan a déclaré ne pas entrer en matière sur l'appel de X._.
C. Celui-ci forme un recours en matière pénale au Tribunal fédéral contre ce jugement et conclut, sous suite de frais et dépens, à son annulation et au renvoi de la cause en instance cantonale afin qu'il soit statué sur son appel.
Des déterminations n'ont pas été requises.

Considérant en droit:
1. 1.1 Le recourant soutient que son courrier du 17 octobre 2011 par lequel il a sollicité la motivation du jugement valait annonce d'appel. Il se plaint d'une interprétation inexacte et arbitraire de sa manifestation de volonté. Il invoque également une violation des art. 82 et 399 al. 1 CPP et un formalisme excessif.
1.2 L'autorité d'appel a en substance relevé que le délai de dix jours pour annoncer l'appel (art. 399 al. 1 CPP) courait dès la notification écrite du dispositif (art. 84 al. 2 CPP). Elle a considéré qu'une demande de motivation selon l'art. 82 al. 2 let. a CPP ne valait pas annonce d'appel, l'art. 82 al. 2 CPP distinguant la demande de motivation (let. a) de l'annonce d'appel, laquelle entrait dans le cadre de la let. b de cette disposition. Elle a ainsi conclu que la demande de motivation du 17 octobre 2011 ne constituait pas une annonce d'appel et que l'annonce d'appel formée le 7 novembre 2011 était tardive, de sorte que l'appel était irrecevable.
1.3 Selon la systématique légale, le jugement de première instance est d'abord notifié sous forme d'un dispositif (cf. art. 84 al. 2 CPP). Le délai de dix jours pour procéder à l'annonce d'appel (art. 399 al. 1 CPP) commence à courir dès la notification du dispositif (art. 384 let. a CPP). La notification du dispositif constitue par conséquent l'élément déterminant. L'art. 82 CPP invoqué par le recourant traite quant à lui des cas, définis à l'al. 1 de cette disposition, où le tribunal de première instance peut s'abstenir de motiver d'office un jugement après l'envoi du dispositif. Alors même que les conditions de l'al. 1 sont réalisées, le tribunal doit malgré tout motiver son jugement dans deux circonstances prévues à l'art. 82 al. 2 CPP, soit lorsqu'une partie le demande dans les dix jours qui suivent la notification du dispositif (let. a) ou lorsqu'une partie forme recours ("eine Partei ein Rechtsmittel ergreift" selon la version allemande) (let. b). L'hypothèse visée par la let. b concerne l'annonce d'appel de l'art. 399 al. 1 CPP (cf. NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, n. 11 ad art. 82 CPP; NILS STOHNER, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n. 7 ad art. 82 CPP; ALAIN MACALUSO, Commentaire romand, n. 11 ad art. 82 CPP).
Contrairement à ce que paraît supposer le recourant, il ne saurait tirer argument de ce que, selon lui, le juge de première instance aurait à tort considéré que les conditions de l'art. 82 al. 1 CPP étaient réunies. Cela ne change rien à l'obligation qu'avait le recourant, s'il entendait former appel, de procéder à une annonce d'appel dans les dix jours dès la notification du dispositif. Il s'agit donc ici uniquement d'examiner si le courrier du recourant du 17 octobre 2011 vaut annonce d'appel.
1.4 Une annonce d'appel au sens de l'art. 399 al. 1 CPP constitue une déclaration unilatérale de volonté par laquelle une partie communique sa volonté de former appel. L'annonce n'a pas à être motivée. Elle doit cependant être suffisamment claire quant à la volonté de former appel.
1.4.1 Le recourant soutient que c'est arbitrairement que sa volonté réelle de faire appel n'a pas été déduite de son courrier du 17 octobre 2011. La détermination de la volonté réelle relève des constatations de fait (<ref-ruling> consid. 4.1 p. 611), que le Tribunal fédéral n'examine que sous l'angle de l'arbitraire. A cet égard, le recourant se contente d'émettre une argumentation appellatoire, qui est irrecevable (cf. <ref-ruling> consid. 4.2.3 p. 5; <ref-ruling> consid. 5.1 p. 356).
1.4.2 Cela étant, une déclaration adressée à l'autorité doit être comprise selon le sens que, de bonne foi, son destinataire doit lui prêter. Il est possible de s'inspirer des règles applicables en matière de droit privé selon lesquelles une déclaration unilatérale permettant l'exercice d'un droit formateur s'interprète selon le principe de la confiance (cf. arrêt 4A_189/2011 du 4 juillet 2011 consid. 8.2 non publié aux <ref-ruling>).
En l'espèce, dans son courrier du 17 octobre 2011, le recourant a uniquement demandé la motivation du jugement. La volonté de former appel n'est pas exprimée. Elle ne saurait se déduire du seul fait que la solution du jugement impliquait pour le recourant de ne pas avoir obtenu gain de cause relativement à sa plainte pénale dirigée contre l'intimée. Il n'est en effet pas exclu qu'une partie qui a succombé n'ait pas l'intention de porter la cause devant une autorité supérieure mais souhaite néanmoins connaître les motifs de la décision. Il peut exister en soi un intérêt aux motifs d'une décision. ll ressort en outre du dispositif du jugement de première instance que le recourant a lui-même été libéré d'une infraction. Le recourant pouvait donc aussi s'être manifesté pour connaître les motifs de son acquittement. L'art. 82 al. 2 CPP distingue clairement la demande de motivation de l'annonce d'appel (cf. al. 2 let. a et b). La doctrine exclut qu'une demande de motivation puisse valoir annonce d'appel (cf. MARKUS HUG, in Donatsch/Hansjakob/Lieber, Kommentar zur schweizerischen Strafprozessordnung, 2010, n. 4 ad art. 399 CPP). Contrairement à ce qu'affirme le recourant, on ne saurait dès lors déduire de son écrit du 17 octobre 2011 une quelconque volonté de former appel. Cette interprétation ne procède pas d'un formalisme excessif. Une annonce d'appel n'est soumise à aucune exigence spécifique. Il suffit que la volonté de faire appel soit reconnaissable. Il était donc aisé au recourant, représenté par un avocat, d'exprimer son intention de faire appel si tel était le cas. Sa demande de motivation ne va pas en ce sens.
1.5 Il résulte de ce qui précède que les critiques émises par le recourant sont infondées dans la mesure où elles sont recevables.
2. Le recours doit être rejeté dans le mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans le mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Juge de la Cour pénale II du Tribunal cantonal du canton du Valais.
Lausanne, le 7 mai 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Paquier-Boinay