Faits: A. P._, né en 1958, a travaillé en qualité d'ouvrier viticole. Souffrant d'une chéloïde à la main droite depuis le mois de juin 1994, il a diminué son temps de travail à raison de 5 heures par jour et exercé des travaux peu pénibles auprès de son employeur. Le 20 juin 1995, il a déposé une demande de prestations de l'assurance-invalidité. Depuis son licenciement qui a pris effet au 30 juin 1997, il n'a plus travaillé. Par décision du 27 octobre 1997, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: office AI) lui a alloué une rente entière d'invalidité à compter du 1er juin 1995 fondée sur un degré d'invalidité de 68 %. A la suite de l'entrée en vigueur le 1er janvier 2004 des dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), l'office AI a entrepris une procédure de révision d'office de la rente. Dans le cadre de l'instruction, il a confié la réalisation d'une expertise à la doctoresse D._, spécialiste en chirurgie orthopédique, (rapport du 30 mai 2005) et recueilli l'avis de la doctoresse U._, médecin auprès du Service médical régional (avis du 27 juillet 2005). Cette dernière a constaté sur la base des conclusions de sa consoeur que l'état de santé de l'intéressé ne s'était pas modifié. Par décision du 4 novembre 2008, l'office AI a remplacé la rente entière d'invalidité par une demi-rente basée sur un taux d'invalidité de 55 %, avec effet au 1er janvier 2009, motif pris que sa décision initiale d'octroi d'une rente entière était manifestement erronée. B. Par jugement du 16 avril 2010, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a admis le recours formé par P._ et annulé la décision de l'office AI du 4 novembre 2008. C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande la réforme en ce sens que soit accordé à l'assuré le droit à un trois quarts de rente depuis le 1er janvier 2009. P._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.