Faits:
A. Par ordonnance pénale du 26 février 2008, le juge d'instruction a condamné X._ pour violation grave des règles de la circulation à une peine pécuniaire de 20 jours-amende à 293 fr., avec sursis pendant 2 ans, ainsi qu'à une amende de 2000 fr, pour laquelle il a fixé la peine privative de liberté de substitution à 20 jours.
Les faits à l'origine de cette condamnation sont en substance les suivants. Le 19 juillet 2007, vers 11 h. 45, X._, qui circulait sur un tronçon rectiligne de l'autoroute A9, s'est déporté sur la voie de dépassement, celle de droite étant fermée en raison de travaux, lesquels étaient signalés. Par ailleurs, la vitesse était temporairement limitée à 100 km/h à cet endroit. Pour une raison indéterminée, qui ne peut guère tenir qu'à une inattention, X._ s'est rabattu sur la droite avant d'avoir dépassé l'endroit où s'effectuaient les travaux. Son véhicule a emporté quelques cônes réfléchissants, effectué deux ou trois tours sur lui-même avant de percuter violemment une remorque du service d'entretien.
B. Suite à l'opposition du condamné, le Juge II du district de Martigny a, par jugement du 19 février 2009, confirmé la condamnation pour violation grave des règles de la circulation. Il a en revanche réduit la peine pécuniaire à 10 jours-amende à 100 fr., avec sursis pendant 2 ans, et l'amende à 1000 fr., la peine privative de substitution étant ramenée à 10 jours.
C. Le 25 mai 2010, le Juge de la Cour pénale II du Tribunal cantonal valaisan a rejeté l'appel interjeté par X._ contre ce jugement, qu'il a confirmé.
D. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à son acquittement de l'accusation de violation grave des règles de la circulation et à sa condamnation à une amende pour contravention à l'art. 90 ch. 1 LCR. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau.

Considérant en droit:
1. Le recourant allègue en premier lieu que l'autorité cantonale a apprécié arbitrairement les faits qu'elle a retenus.
Saisi d'un recours en matière pénale, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), à moins que le recourant ne démontre que ces faits ont été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (FF 2001 p. 4135) ou en violation du droit au sens de l'art. 95 LTF (art. 97 al. 1 LTF).
Le recourant reproche à l'autorité cantonale d'avoir admis qu'il circulait à une vitesse approximative de 120 km/h. Selon lui, cette constatation est inexacte car elle repose sur des déclarations imprécises et ne jouissant pas d'une valeur probante suffisante.
Il ressort de l'arrêt cantonal que cette constatation repose en premier lieu sur les affirmations du recourant lui-même. L'autorité cantonale a noté qu'elles s'inscrivaient dans un ensemble de déclarations cohérentes et circonstanciées. Elles ont en outre été confirmées plus de deux mois plus tard devant le juge d'instruction. Ces éléments permettent de constater que l'autorité cantonale a fait une appréciation parfaitement raisonnable des preuves sur ce point. Le simple fait que le recourant soutient qu'elles ont été faites peu après l'accident alors qu'il était en état de choc ne suffit pas à faire admettre que cet élément a été établi de manière arbitraire, savoir insoutenable.
Le recourant soutient par ailleurs que cette constatation n'est pas assez précise pour fonder une condamnation et qu'elle a été retenue sans déduction de la marge de tolérance habituelle. La vitesse a été déterminée par l'autorité cantonale en se fondant sur les déclarations du recourant. Elle n'a donc pas été établie sur la base d'une mesure fournie par un appareil, qui peut subir de légères variations. Une personne interrogée par la police dans le contexte d'un accident aura tendance à indiquer spontanément la valeur inférieure de la fourchette dans laquelle elle estime que sa vitesse se situait. Il n'y a donc pas lieu de déduire encore une marge de sécurité.
Le recourant s'en prend en outre à la considération, qu'il qualifie de manifestement inexacte, selon laquelle les autoroutes sont très fréquentées vers 11 h. 45, en particulier au mois de juillet où les vacanciers sont très nombreux. Cet élément n'est toutefois pas pertinent. En effet, l'autorité cantonale a précisément relevé que cette question n'est pas décisive avant d'examiner si une inattention était imputable au recourant.
2. Ce dernier reproche également à l'autorité cantonale d'avoir violé le principe "in dubio pro reo".
S'agissant de la vitesse retenue, ce grief se confond avec celui d'arbitraire, qui a été examiné au considérant précédent.
Le recourant estime en outre qu'il est contraire au principe "in dubio pro reo" de retenir qu'il aurait vu la signalisation du chantier. Or, l'autorité cantonale n'a pas retenu ce fait comme établi, se limitant à constater que le contraire n'était pas démontré et que si l'on admet qu'il n'a effectivement pas vu cette signalisation, il a manqué momentanément d'attention et doit répondre de cette défaillance. Il n'y a donc pas de violation du principe "in dubio pro reo" de ce point de vue non plus.
Le recourant reproche par ailleurs à l'autorité cantonale d'avoir retenu, sans disposer de suffisamment d'éléments, qu'il y avait des ouvriers sur le chantier 15 minutes avant l'accident. Il ne s'agit toutefois pas d'un élément de fait pertinent pour la qualification des actes imputés au recourant, de sorte que cette question n'a pas à être examinée. De même c'est en vain que le recourant soutient que l'accident ne se serait pas produit s'il y avait eu ne serait-ce qu'un ouvrier sur le chantier car la présence d'une personne à cet endroit aurait attiré son attention et il n'aurait alors pas manqué de freiner. En effet, en sachant que son attention n'a été éveillée ni par la signalisation ni par le chantier lui-même, au point qu'il s'est rabattu en plein milieu de celui-ci, il est très invraisemblable qu'il aurait remarqué la présence d'une personne à proximité.
3. Le recourant se plaint que l'autorité cantonale aurait violé l'art. 90 ch. 2 LCR en considérant a priori que l'art. 31 al. 1 LCR serait une règle fondamentale de la circulation routière. Il allègue que compte tenu de la visibilité, qui était bonne au moment des faits, ainsi que de l'absence d'activité sur le chantier sa faute n'excède pas ce que l'on rencontre habituellement. Il estime en outre n'avoir pas causé de mise en danger, ni concrète ni abstraite accrue. Sur le plan subjectif, il soutient n'avoir commis qu'une négligence inconsciente, ce qui ne suffit pas pour justifier l'application de l'art. 90 ch. 2 LCR.
3.1 L'infraction réprimée par cette disposition est objectivement réalisée lorsque l'auteur viole de façon grossière une règle fondamentale de la circulation et met ainsi sérieusement en danger la sécurité d'autrui. Une mise en danger abstraite accrue suffit. Sur le plan de la faute, l'infraction suppose un comportement sans scrupule ou gravement contraire aux règles de la circulation. Cette condition est toujours réalisée si l'auteur est conscient du danger que représente sa manière de conduire, mais peut aussi l'être s'il ne tient absolument pas compte du fait qu'il met autrui en danger.
Le recourant circulait sur l'autoroute à une vitesse de l'ordre de 120 km/h dans une zone de chantier, circonstance qui requiert une attention accrue (JT 2007 I 564, 6S.309/2006 consid. 6.2; voir aussi BUSSY/RUSCONI, Code suisse de la circulation routière, commentaire, 3e éd., Lausanne 1996, art. 31, n. 2.4 et les références citées). Dans ce contexte, il a manqué d'attention au point, selon ses propres affirmations, de ne pas voir la signalisation de chantier, qui était adéquate et fonctionnait. Plus grave encore, son inattention a été telle qu'il s'est rabattu sur la droite avant d'avoir dépassé l'endroit où s'effectuaient les travaux. Ce comportement viole lourdement l'art. 3 al. 1 OCR. En contrevenant à cette importante règle de circulation, dont la violation est fréquemment à l'origine d'accidents, d'une manière qui excède manifestement les violations que l'on rencontre habituellement, le recourant a violé gravement une règle fondamentale de la circulation. Ce faisant, il a créé un danger abstrait accru pour la sécurité des personnes qui auraient pu se trouver sur la zone de chantier. En effet, contrairement à ce que soutient le recourant, ce n'est que le fruit du hasard si aucun ouvrier ne travaillait à ce moment-là, l'accident s'étant produit à 11 h. 45, heure à laquelle la présence de personnes sur le chantier ne pouvait pas être exclue. Au demeurant, il a été jugé qu'eu égard à la vitesse à laquelle les véhicules circulent sur l'autoroute, une perte de maîtrise sur ce type de chaussée représente toujours un danger sérieux (<ref-ruling> consid. 4c p. 346).
3.2 Subjectivement, l'application de l'art. 90 ch. 2 LCR exige, en cas d'acte commis par négligence, à tout le moins une négligence grossière. Celle-ci doit être admise lorsque le conducteur est conscient du caractère généralement dangereux de son comportement contraire aux règles de la circulation. Mais une négligence grossière peut également exister lorsque, contrairement à ses devoirs, l'auteur ne prend absolument pas en compte le fait qu'il met en danger les autres usagers, en d'autres termes s'il se rend coupable d'une négligence inconsciente. Dans de tels cas, une négligence grossière ne peut être admise que si l'absence de prise de conscience du danger créé pour autrui repose elle-même sur une absence de scrupules. Est notamment sans scrupules le comportement qui ne tient absolument pas compte des biens juridiques d'autrui. Il peut également en aller ainsi en cas de simple ignorance (momentanée) de la mise en danger des intérêts d'autrui (<ref-ruling> consid. 3.2 p. 136).
Il ressort de l'arrêt attaqué que l'accident a eu lieu sur une chaussée rectiligne par temps clair et que la signalisation de chantier était adéquate et fonctionnait. Le recourant prétend n'avoir pas vu les signaux et n'avoir pas été conscient qu'il s'approchait d'un chantier. L'autorité cantonale note qu'aucun fait ne corrobore cette affirmation. Dans ces circonstances, soit le recourant a vu la signalisation, qui comprenait une limitation de vitesse à 100 km/h, mais n'a pas adapté sa vitesse et n'a pas fait preuve d'une attention accrue, comme l'exigeait la situation, soit il a eu une inattention particulièrement grave puisqu'il n'a vu ni les panneaux indiquant le chantier ni le chantier lui-même, sans quoi il ne se serait pas rabattu avant de l'avoir dépassé. Compte tenu des bonnes conditions de visibilité, qui permettaient au recourant de remarquer aisément tant la signalisation que le chantier, et du fait qu'il circulait sur l'autoroute, ce qui exige une attention particulière de la part du conducteur, dans les deux cas, l'inattention imputée au recourant est très lourde et constitue une négligence grossière. Ainsi, l'autorité cantonale n'a pas violé le droit fédéral en considérant que le comportement du recourant constituait objectivement et subjectivement une violation grave des règles de la circulation.
4. Mal fondé, le recours doit être rejeté, les frais étant mis à la charge du recourant qui succombe (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour pénale II du Tribunal cantonal valaisan.
Lausanne, le 21 octobre 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Paquier-Boinay