Faits: Faits: A. Né en 1960, B._ travaillait en qualité d'opérateur en chimie au service de l'entreprise C._ SA. Souffrant de douleurs au thorax et au dos ainsi que d'un état dépressif, l'assuré a interrompu son activité le 13 octobre 2003. Depuis lors, il n'a plus repris d'activité lucrative; son employeur a mis fin aux rapports de travail au 31 décembre 2004. Le 18 octobre 2004, il a présenté à l'Office cantonal de l'assurance-invalidité du Valais (ci après : l'office AI), une demande de prestations de l'assurance-invalidité tendant à l'octroi de mesures d'ordre professionnel (reclassement dans une nouvelle profession et rééducation dans la même profession). Procédant à l'instruction du dossier, l'office AI a recueilli divers avis médicaux, dont une expertise pluridisciplinaire pratiquée au Centre d'Expertises médicales de l'Hôpital X._. Selon les experts, l'assuré souffrait d'un syndrome dorso-vertébral dans le cadre d'un trouble dissociatif (de conversion) mixte nécessitant une psychothérapie avec anxiolyse ponctuelle et une physiothérapie. Il présentait aussi un éthylo-tabagisme important. Ces médecins ont estimé qu'une reprise rapide à 50 % puis progressive de son ancienne profession était essentielle (rapport du docteur L._ du 28 juillet 2004, incluant un consilium psychiatrique de son confrère A._ du 22 juillet 2004 et un consilium rhumatologique du docteur V._ du 20 juillet 2004). Dans son rapport du 26 novembre 2004, la doctoresse D._, psychiatre-traitant, a diagnostiqué un trouble réactionnel avec symptomatologie anxio-dépressive moyenne évoluant favorablement et n'affectant pas sa capacité de travail. Elle a mis fin au traitement le 15 octobre 2004. Par décisions des 20 et 21 janvier 2005, confirmées sur opposition le 4 août 2005, l'Office AI a nié à l'assuré le droit à une rente et à un reclassement professionnel. Il a retenu que la capacité de travail de ce dernier était nulle du 13 octobre 2003 au 31 juillet 2004 et de 50 % d'un temps complet du 1er au 31 août 2004. A partir du 1er septembre suivant, l'assuré était totalement capable de reprendre son ancienne activité d'opérateur en chimie. B. Saisi d'un recours contre la décision sur opposition du 4 août 2005, le Tribunal cantonal des assurances du canton du Valais l'a rejeté par jugement du 17 février 2006. B. Saisi d'un recours contre la décision sur opposition du 4 août 2005, le Tribunal cantonal des assurances du canton du Valais l'a rejeté par jugement du 17 février 2006. C. B._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation en concluant, sous suite de dépens, principalement à l'allocation d'une rente et subsidiairement à l'octroi de mesures d'ordre professionnel. Il conclut aussi au renvoi de la cause à la juridiction cantonale ou à l'administration pour instruction complémentaire (édition du dossier du service médical de l'employeur, enquête économique et expertise médicale). Il requiert enfin une nouvelle décision de l'instance cantonale sur les dépens en procédure cantonale. L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales n'a pas présenté de déterminations.