Faits: Faits: A. D._, ressortissant italien né en 1950, a déposé une demande de prestations de l'assurance-invalidité le 28 novembre 1996 sollicitant un reclassement dans une nouvelle profession et, subsidiairement, l'octroi d'une rente. Il invoquait souffrir de polyinsertionite. Au cours de l'instruction ouverte par l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI), l'intéressé a effectué un stage au Centre de formation professionnelle X._ à M._ du 23 février au 22 août 1998. Après avoir recueilli divers avis médicaux, dont celui de la doctoresse G._, spécialiste FMH en médecine interne et rhumatologie (du 7 août 2001) et du docteur S._, spécialiste FMH en psychiatrie et psychothérapie (du 5 octobre 2001), l'OAI a rejeté la demande de prestations, motif pris que le degré d'invalidité présenté par l'assuré (19,43 %) était insuffisant pour donner droit à une rente (décision du 8 septembre 2003). Saisi d'une opposition de D._, l'OAI a mis en oeuvre un examen rhumatologique et psychiatrique auprès de son service médical régional (SMR). Dans son rapport du 11 novembre 2004, la doctoresse I._, spécialiste FMH en médecine physique et rééducation, a fait état d'une capacité de travail nulle dans l'activité habituelle de plâtrier-peintre et de 70 % dans une activité adaptée. Dans un rapport du 26 novembre 2004, le docteur V._, spécialiste FMH en psychiatrie, a confirmé le diagnostic du docteur S._, selon lequel l'assuré ne subissait aucune réduction de sa capacité de travail sur le plan psychiatrique. Par décision du 4 janvier 2005, l'OAI a partiellement admis l'opposition de D._ et lui a alloué, à partir du 1er novembre 1997, un quart de rente (ou une demi-rente pour cas pénible selon l'art. 28 al. 1 bis LAI en vigueur jusqu'au 31 décembre 2003), après avoir fixé le taux d'invalidité à 48 %, compte tenu d'un revenu sans invalidité de 64'740 fr., d'un gain hypothétique d'invalide de 33'920 fr. et d'une déduction de 15 %. Par décision du 4 janvier 2005, l'OAI a partiellement admis l'opposition de D._ et lui a alloué, à partir du 1er novembre 1997, un quart de rente (ou une demi-rente pour cas pénible selon l'art. 28 al. 1 bis LAI en vigueur jusqu'au 31 décembre 2003), après avoir fixé le taux d'invalidité à 48 %, compte tenu d'un revenu sans invalidité de 64'740 fr., d'un gain hypothétique d'invalide de 33'920 fr. et d'une déduction de 15 %. B. L'assuré a déféré la décision sur opposition au Tribunal des assurances du canton de Vaud en concluant, principalement, à l'octroi d'une rente entière dès le 1er novembre 1997 et, subsidiairement, à l'octroi d'une demi-rente dès le 1er novembre 1997 et un trois-quart de rente dès le 1er janvier 2004. Par jugement du 15 décembre 2005, notifié le 12 juin 2006, la juridiction cantonale a partiellement admis le recours, en ce sens qu'elle a substitué un abattement de 20 % aux 15 % retenus par l'administration et réformé la décision litigieuse en octroyant à D._ une demi-rente à partir du 1er novembre 1997. Par jugement du 15 décembre 2005, notifié le 12 juin 2006, la juridiction cantonale a partiellement admis le recours, en ce sens qu'elle a substitué un abattement de 20 % aux 15 % retenus par l'administration et réformé la décision litigieuse en octroyant à D._ une demi-rente à partir du 1er novembre 1997. C. L'OAI (cause I 612/06) et D._ (cause I 621/06) ont interjeté recours de droit administratif à l'encontre de ce jugement. L'administration a requis l'annulation de ce dernier. Elle estimait qu'un taux d'abattement de 20 % était manifestement trop élevé et contestait que l'illettrisme et l'intelligence limite de l'assuré puissent être pris en compte comme facteurs de réduction du revenu d'invalide. L'assuré a conclu sous suite de frais et dépens au rejet du recours. D._ a conclu, sous suite de dépens, à la réforme du jugement entrepris en ce sens qu'il avait droit à un trois-quart de rente d'invalidité dès le 1er janvier 2004. Il reprochait aux premiers juges d'avoir retenu une capacité résiduelle de travail de 70 % dans une activité adaptée alors qu'il subissait une incapacité de travail de 50 % en raison d'une atteinte importante à l'épaule droite. Il sollicitait par ailleurs le bénéfice de l'assistance judiciaire tendant à la dispense de payer les frais judiciaires. L'Office fédéral des assurances sociales a renoncé à se déterminer.