Faits: Faits: A. X._ est né le 4 février 1949. A la suite d'un accident de la circulation, il se déplace en chaise roulante, la partie inférieure de son corps étant paralysée. Il n'exerce pas d'activité professionnelle et passe ses journées dans son logement. En septembre 2002, A._, né le 30 mars 1988, a fait la connaissance de X._ au domicile de ce dernier, par l'intermédiaire d'un ami de son âge, B._. A._ est ensuite retourné régulièrement chez X._ pour sortir le chien de son hôte, faire ses devoirs ou jouer sur la console de jeux. Parfois il dînait et dormait chez X._, en compagnie de B._. A._ a déclaré à la police que X._ lui aurait donné un téléphone portable, une canne et un casque de hockey ainsi que quelques petites sommes d'argent. Lorsqu'il lui rendait visite, X._ était parfois vêtu d'un seul T-shirt, voire se montrait complètement nu. Par la suite, ce dernier a commencé "à pousser trop", demandant à A._ de lui faire la bise, ce que ce dernier faisait. Parfois X._ s'accrochait et essayait de lui donner des "bisous dans la bouche". A._ a finalement décidé de ne plus aller chez X._ et a interrompu ses visites en janvier 2003. C._ est né le 31 août 1985. Il connaît de grosses difficultés de discernement et de résistance aux interdits et est facilement influençable. Il a été placé à Sion au sein de l'organisation romande pour l'intégration professionnelle des personnes handicapées (ORIPH) où il suivait une formation élémentaire en 2002-2003. Au début de l'année 2002, il a fait la connaissance de X._ en suivant des camarades qui se rendaient à son domicile. Il savait que X._ donnait de l'argent de poche et un téléphone portable aux jeunes qui lui rendaient visite. Il s'est ensuite rendu régulièrement chez X._, une ou deux fois par semaine, jusqu'au mois d'octobre 2002. X._ pourvoyait à ses besoins d'argent et lui a donné un téléphone portable. C._ se prêtait en contrepartie à des contacts sexuels avec X._, qu'il a vu nu sur sa chaise. Il y a eu échange de baisers dans le cou entre les deux intéressés, X._ faisant des caresses dans le dos de C._ sous son vêtement, lorsque ce dernier se trouvait contre lui. D._, né le 31 octobre 1985, souffre d'un handicap d'origine comportementale et d'une difficulté d'adaptation sociale. Son quotient intellectuel est faible. Selon son éducateur, il est très immature, souffre d'abandonnisme et manifeste des comportements très infantiles avec très peu de tolérance aux frustrations et peu de conscience des interdits. Il a également fait l'objet d'un placement à l'ORIPH où il suivait une formation élémentaire en 2002-2003. Il a été présenté à X._ par C._. Il ressort des déclarations de D._ que X._ lui a fait des bisous dans le cou et lui a promis de lui offrir un téléphone portable. A chacune de ses visites (en principe à une ou deux reprises chaque fin de semaine), D._ a fait des câlins à X._ sur demande de ce dernier et a accepté que celui-ci lui en fasse. X._ a obtenu de D._ qu'il se dénude le torse et il lui a alors fait des suçons, lui a mordu et caressé le dos, l'a embrassé sur la bouche et, à une reprise, lui a "mis la langue" et il lui a touché plusieurs fois les fesses et une fois le sexe par-dessus les habits. A ces moments, X._ était sur sa chaise roulante -la plupart du temps nu- et D._ était assis sur lui. D._ a expliqué ne se prêter à ces gestes que pour recevoir à chaque fois les quelques francs dont il avait besoin pour s'acheter des cigarettes. D._, né le 31 octobre 1985, souffre d'un handicap d'origine comportementale et d'une difficulté d'adaptation sociale. Son quotient intellectuel est faible. Selon son éducateur, il est très immature, souffre d'abandonnisme et manifeste des comportements très infantiles avec très peu de tolérance aux frustrations et peu de conscience des interdits. Il a également fait l'objet d'un placement à l'ORIPH où il suivait une formation élémentaire en 2002-2003. Il a été présenté à X._ par C._. Il ressort des déclarations de D._ que X._ lui a fait des bisous dans le cou et lui a promis de lui offrir un téléphone portable. A chacune de ses visites (en principe à une ou deux reprises chaque fin de semaine), D._ a fait des câlins à X._ sur demande de ce dernier et a accepté que celui-ci lui en fasse. X._ a obtenu de D._ qu'il se dénude le torse et il lui a alors fait des suçons, lui a mordu et caressé le dos, l'a embrassé sur la bouche et, à une reprise, lui a "mis la langue" et il lui a touché plusieurs fois les fesses et une fois le sexe par-dessus les habits. A ces moments, X._ était sur sa chaise roulante -la plupart du temps nu- et D._ était assis sur lui. D._ a expliqué ne se prêter à ces gestes que pour recevoir à chaque fois les quelques francs dont il avait besoin pour s'acheter des cigarettes. B. Par arrêt du 28 juin 2004, le juge suppléant des districts de Martigny et St-Maurice a reconnu X._ coupable notamment de tentative d'actes d'ordre sexuels avec des enfants ainsi que d'abus de la détresse et l'a condamné à 9 mois d'emprisonnement avec sursis pendant 5 ans. B. Par arrêt du 28 juin 2004, le juge suppléant des districts de Martigny et St-Maurice a reconnu X._ coupable notamment de tentative d'actes d'ordre sexuels avec des enfants ainsi que d'abus de la détresse et l'a condamné à 9 mois d'emprisonnement avec sursis pendant 5 ans. C. Le 1er février 2006, la Cour pénale II du Tribunal cantonal valaisan a rejeté le recours formé par X._ contre ce jugement. C. Le 1er février 2006, la Cour pénale II du Tribunal cantonal valaisan a rejeté le recours formé par X._ contre ce jugement. D. X._ se pourvoit en nullité au Tribunal fédéral contre cet arrêt. Invoquant une violation des art. 187 et 193 CP, il conclut à son annulation et au renvoi de la cause à l'autorité cantonale. Il sollicite par ailleurs l'assistance judiciaire. La cour cantonale n'a pas formulé d'observations, se référant aux considérants de l'arrêt attaqué.