Faits: A. D._ est garagiste indépendant depuis le début des années 1990. Atteint d'une cirrhose hépatique Child A, il a déposé le 13 janvier 2005 une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Le 6 décembre 2005, l'office AI a réalisé une enquête économique pour les indépendants. Il en est ressorti que l'assuré subissait un préjudice économique de 50 %. Par ailleurs, l'instruction médicale menée par l'administration a permis d'établir que l'intéressé disposait d'une capacité résiduelle de travail de 50 % dès le mois de mai 2003 dans son métier de garagiste, alors que celle exigible dans toute autre activité adaptée était de 50 % de mai 2003 à mai 2004 et de 70 % au-delà de cette date. L'assuré s'est par la suite opposé à des mesures d'ordre professionnel proposées par l'office AI en privilégiant la poursuite de son activité d'indépendant. Par décision du 19 novembre 2009, l'office AI a nié à D._ le droit à une rente d'invalidité, au motif que son degré d'invalidité était inférieur au minimum légal requis pour ouvrir le droit à cette prestation. B. L'assuré a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Par jugement du 29 septembre 2011, celui-ci a réformé la décision en reconnaissant au recourant le droit à un quart de rente d'invalidité du 1er au 31 janvier 2004, à une demi-rente du 1er février 2004 au 30 septembre 2009, puis à un quart de rente dès le 1er octobre 2009. C. D._ interjette un recours en matière de droit public contre ce jugement dont il demande la réforme, sous suite de frais et dépens, en ce sens que la demi-rente d'invalidité octroyée soit maintenue au-delà du 1er octobre 2009. Dans ses déterminations, l'office AI conclut au rejet du recours. La juridiction cantonale se détermine le 17 février 2012, alors que l'Office fédéral des assurances sociales y renonce. Le recourant, quant à lui, maintient ses conclusions.