Faits: Faits: A. B._, né en 1954, a travaillé en qualité d'aide-jardinier de 1972 à 1998, puis en qualité de manoeuvre de chantier dès le 1er février 1999. Souffrant notamment de douleurs chroniques au rachis et au membre inférieur gauche, il a cessé de travailler à partir du 20 octobre 1999 et n'a plus repris d'activité lucrative depuis lors. Le 29 octobre 1999, il a présenté une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI). Procédant à l'instruction de la demande, l'office AI a recueilli les avis des médecins traitants de l'assuré (rapports des docteurs P._ du 14 mai 1998, T._ du 29 novembre 1999, complété le 28 avril 2000, et M._ du 28 décembre 1999) et mis en oeuvre un stage d'observation professionnelle qui s'est déroulé du 26 novembre 2001 au 1er février 2002 au Centre ORIPH d'Yverdon-les-Bains. Retenant à l'issue de l'instruction l'existence d'une capacité résiduelle de travail de 50 % dans une activité adaptée et d'une perte de gain en résultant de 55 %, l'office AI a, dans un projet d'acceptation de rente daté du 25 novembre 2002, informé l'assuré qu'il entendait lui allouer une demi-rente d'invalidité à compter du 1er octobre 2000. Malgré les critiques formulées par l'assuré, l'office AI a confirmé son projet initial par décision du 18 septembre 2003 et décision sur opposition du 23 mars 2004. Retenant à l'issue de l'instruction l'existence d'une capacité résiduelle de travail de 50 % dans une activité adaptée et d'une perte de gain en résultant de 55 %, l'office AI a, dans un projet d'acceptation de rente daté du 25 novembre 2002, informé l'assuré qu'il entendait lui allouer une demi-rente d'invalidité à compter du 1er octobre 2000. Malgré les critiques formulées par l'assuré, l'office AI a confirmé son projet initial par décision du 18 septembre 2003 et décision sur opposition du 23 mars 2004. B. Par jugement du 24 août 2005, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré contre la décision sur opposition du 23 mars 2004. B. Par jugement du 24 août 2005, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré contre la décision sur opposition du 23 mars 2004. C. B._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation. Sous suite de dépens, il conclut, principalement, au renvoi de la cause pour instruction complémentaire et, à titre subsidiaire, à l'octroi d'une rente entière d'invalidité, éventuellement d'un trois-quarts de rente. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.