Faits: Faits: A. B._, né en 1956, travaillait en qualité de manoeuvre de chantier auprès de l'Entreprise X._ SA. Le 3 février 2001, il a été victime d'un accident de la circulation au cours duquel il a subi un traumatisme cervical par accélération. Les suites de l'accident ont été prises en charge par la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Souffrant de séquelles de cet événement revêtant principalement la forme de cervicalgies persistantes et douloureuses, ainsi que de céphalées avec sensations vertigineuses, B._ a déposé le 5 novembre 2001 une demande de prestations de l'assurance-invalidité. Après avoir recueilli différents renseignements médicaux et mis en oeuvre une mesure d'observation professionnelle, l'Office cantonal de l'assurance-invalidité du canton de Genève a rejeté la demande de prestations, motif pris que le degré d'invalidité présenté par l'assuré (16 %) était insuffisant pour donner droit à une rente (décision du 14 mars 2005). Par écriture du 2 mai 2005, complétée le 14 octobre suivant, B._ a, par l'intermédiaire de Me Petroz, avocat à Genève, formé opposition contre cette décision, en concluant à l'allocation d'une rente d'invalidité. Il a sollicité par ailleurs l'octroi de l'assistance juridique pour la procédure d'opposition. Par décision du 31 octobre 2005, l'office AI a refusé d'accorder l'assistance juridique requise en procédure d'opposition, motif pris que « les probabilités de succès de ladite procédure [étaient] minces ». Par décision du 31 octobre 2005, l'office AI a refusé d'accorder l'assistance juridique requise en procédure d'opposition, motif pris que « les probabilités de succès de ladite procédure [étaient] minces ». B. Par jugement du 14 mars 2006, le Tribunal cantonal des assurances sociales du canton de Genève a rejeté le recours formé par l'assuré contre cette décision. B. Par jugement du 14 mars 2006, le Tribunal cantonal des assurances sociales du canton de Genève a rejeté le recours formé par l'assuré contre cette décision. C. B._ a interjeté recours de droit administratif contre ce jugement dont il a demandé l'annulation. Sous suite de frais et dépens, il a conclu à ce que l'assistance judiciaire lui soit accordée pour la procédure d'opposition. L'office AI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.