Faits: A. Par jugement du 21 septembre 2001, le Tribunal du III arrondissement pour le district de Monthey a condamné X._, né le 11 janvier 1961 à Bruxelles, à une peine de vingt-quatre mois d'emprisonnement pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP). Statuant sur appel le 17 avril 2003, la Cour pénale II du Tribunal cantonal valaisan a confirmé le jugement de première instance. Statuant sur appel le 17 avril 2003, la Cour pénale II du Tribunal cantonal valaisan a confirmé le jugement de première instance. B. En résumé, les faits à la base de cette condamnation sont les suivants: B.a Le dimanche 21 mai 2000, vers 23h05, B._, médecin à l'Hôpital du Chablais à Monthey, a été appelé en urgence au domicile de A._. Il a trouvé cette dernière allongée sur le sol; elle se débattait et ne répondait pas aux questions qu'il lui posait. Il lui a injecté une ampoule de 10 mg de valium par voie intramusculaire et l'a conduite au service des urgences. A l'hôpital de Monthey, une perfusion a été mise en place afin de lui administrer du rivotril en continu à raison de 4 mg en 24 heures en sus de 3 mg par voie intramusculaire. Vers 1h30, A._ a été installée dans une chambre d'isolement sur un lit relativement haut, muni de trois barrières relevées, deux latérales et une au niveau des pieds. Elle avait une attelle plâtrée à l'avant-bras gauche, un saturomètre à un doigt de la main gauche, une perfusion à un bras, un brassard de pression au bras opposé et trois électrodes sur le thorax. Le 22 mai 2000, vers 5h, l'infirmier de garde, X._, qui était allé rendre visite à A._, a mis son pénis en érection dans la bouche de cette dernière et lui a dit "suce-moi". Quelque chose ayant sonné, il est reparti sans rien dire. Un quart d'heure après, il est revenu. Il a fait le tour du lit et a abaissé la barrière gauche. Il a empoigné A._ au-dessus des genoux et l'a tirée, la mettant en travers de son lit, couchée sur le dos. Il a ouvert son pantalon et, lui écartant les jambes, il l'a pénétrée, sans la caresser ni lui toucher le sexe des doigts, lui provoquant ainsi une vive douleur. Après quelques allées et venues, il a soupiré et est ressorti d'elle. Son acte accompli, il a quitté la chambre sans rien dire. B.b Après avoir interrompu une formation en biologie à l'université de Bruxelles, X._ a suivi pendant quatre ans une école d'infirmier. Il a travaillé ensuite dans plusieurs hôpitaux et a quitté la Belgique pour venir en Suisse en 1999. Marié une première fois en 1986, il a un fils âgé aujourd'hui de 15 ans, pour lequel il paye une contribution d'entretien. Il s'est marié une seconde fois en 1995, et a divorcé à nouveau en 2002. Actuellement, il travaille comme infirmier auprès d'un institut médico-social oeuvrant dans le domaine de la psychiatrie. B.b Après avoir interrompu une formation en biologie à l'université de Bruxelles, X._ a suivi pendant quatre ans une école d'infirmier. Il a travaillé ensuite dans plusieurs hôpitaux et a quitté la Belgique pour venir en Suisse en 1999. Marié une première fois en 1986, il a un fils âgé aujourd'hui de 15 ans, pour lequel il paye une contribution d'entretien. Il s'est marié une seconde fois en 1995, et a divorcé à nouveau en 2002. Actuellement, il travaille comme infirmier auprès d'un institut médico-social oeuvrant dans le domaine de la psychiatrie. C. X._ forme un pourvoi en nullité au Tribunal fédéral. Invoquant une violation des art. 191 et 63 CP, il conclut à l'annulation de l'arrêt attaqué.