Faits:
A. H._, né en 1947, a débuté en 1999 une activité de commerçant itinérant spécialisé dans la fabrication artisanale de caramels à la crème, avec son épouse.
Le 2 mars 2006, l'intéressé a déposé une demande de prestations de l'assurance-invalidité, sous la forme d'une rente, en invoquant une atteinte au genou droit depuis 2001 ainsi qu'un cancer du rectum en novembre 2005. Dans un rapport du 24 avril 2006, le docteur W._, médecin traitant de l'assuré, a posé le diagnostic de status après opération d'un adénocarcinome invasif du rectum avec chimiothérapie et radiothérapie, status après nombreuses interventions sur le genou droit et status après opération d'une rupture de la coiffe des rotateurs de l'épaule gauche. Il a attesté une incapacité de travail totale de 100 % du 20 décembre 2003 au 26 juillet 2004, de 50 % du 27 juillet 2004 au 1er novembre 2005 puis de 100 % à partir du 1er novembre 2005. Le 8 mai 2006, le docteur B._, spécialiste FMH en chirurgie orthopédique, a retenu une incapacité de travail de 50 % dans l'activité d'artisan-confiseur ainsi que dans toute autre profession respectant les limitations fonctionnelles de l'assuré. Le docteur G._, spécialiste FMH en chirurgie ayant suivi l'assuré pour son adénocarcinome du rectum, a estimé que la capacité de travail de l'assuré était de 50 % dans un travail léger (cf. rapport du 9 mai 2006). L'Office de l'assurance-invalidité du canton de Vaud (ci-après: l'OAI) a procédé à une enquête économique pour les indépendants. Il ressort du rapport d'enquête du 14 février 2007 qu'avant son atteinte à la santé, l'assuré effectuait toutes les tâches à l'aide de son épouse (fabrication de caramels, transports, marchés et foires, commandes de matières premières et petite comptabilité). L'enquêtrice a estimé que l'assuré et son épouse travaillaient chacun à 100 % dans l'entreprise, de sorte que le bénéfice réalisé devait être imputé pour moitié à l'assuré et pour l'autre moitié à son épouse. Pour calculer le revenu sans invalidité de l'assuré, l'OAI s'est fondé sur la moyenne des bénéfices réalisés entre 1999 et 2003, divisée par deux, soit un montant de 14'382 fr. Après l'atteinte à sa santé, l'assuré pouvait difficilement rester debout. Dans les faits, c'est son épouse qui travaillait et lui qui la secondait, le couple étant aidé de leur fille pour la vente. Afin de déterminer le revenu d'invalide, l'enquêtrice a considéré que l'assuré travaillait désormais à 50 %, tandis que son épouse travaillait à 100 %. Compte tenu de cette répartition, un tiers du bénéfice devait être imputé à l'assuré et deux tiers à son épouse, cela après déduction de la part du travail non rémunéré de la fille, estimé à 20 %. Le revenu d'invalide de l'assuré correspondait ainsi au tiers du bénéfice d'exploitation de l'année 2005, soit un montant de 17'581 fr. La perte de gain découlant de la comparaison des revenus avec et sans invalidité étant inférieur à 40 %, l'OAI a rejeté la demande de l'assuré, par décision du 9 mai 2008.
B. Par jugement du 3 mars 2009, le Tribunal des assurances sociales du canton de Vaud a rejeté le recours interjeté par l'assuré contre la décision du 9 mai 2008.
C. H._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement. Il conclut principalement à l'octroi d'une demi-rente d'invalidité et, subsidiairement, à l'annulation du jugement attaqué et de la décision litigieuse ainsi qu'au renvoi de la cause aux premiers juges pour qu'ils réexaminent la question du droit à la rente.
Considérant en droit:
1. Le recours étant recevable comme recours en matière de droit public (art. 82 ss LTF), le recours constitutionnel subsidiaire est en l'espèce exclu (art. 113 LTF) et doit être déclaré irrecevable. Les griefs soulevés par le recourant dans son recours constitutionnel subsidiaire seront toutefois traités comme faisant partie intégrante du recours en matière de droit public interjeté parallèlement, dès lors que le droit fédéral au sens de l'art. 95 let. a LTF comprend les droits constitutionnels.
2. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
3. L'administration et les premiers juges ont évalué l'invalidité selon la méthode générale de comparaison des revenus en prenant pour base la moyenne des bénéfices réalisés par le recourant de 1999 à 2003,(14'382 fr.), et le bénéfice réalisé en 2005 (17'581 fr.). Ils ont considéré qu'il n'était pas invalide au sens de la LAI, car il ne subissait pas de perte de gain, malgré une incapacité de travail médicalement attestée de 50 %.
4. Le recourant ne remet pas en cause la méthode générale de comparaison des revenus ni la répartition du bénéfice faite par l'administration et les premiers juges entre son épouse et lui-même avant et après son atteinte à la santé. Il allègue toutefois que le bénéfice d'exploitation total de l'entreprise se serait élevé à 80'000 fr. au moins sans la survenance de son incapacité de travail partielle, car il estime que son entreprise, créée en 1999 et dans laquelle il s'est beaucoup investi, n'aurait pu que prospérer. En particulier, il estime que si son bénéfice n'a cessé d'augmenter depuis 1999 quand bien même sa capacité de travail a diminué de moitié depuis 2006, il réaliserait un bénéfice plus important encore aujourd'hui avec une capacité de travail de 100 %. Dans la mesure où les premiers juges n'avaient pas instruit cette question, ils avaient violé le droit fédéral.
5. 5.1 Le revenu sans invalidité s'évalue, en règle générale, d'après le dernier salaire que l'assuré a obtenu avant l'atteinte à la santé, en tenant compte de l'évolution des circonstances à l'époque où est né le droit à la rente. Compte tenu des capacités professionnelles de l'assuré et des circonstances personnelles le concernant, on prend en considération ses chances réelles d'avancement compromises par le handicap, en posant la présomption que l'assuré aurait continué d'exercer son activité sans la survenance de son invalidité. Des exceptions ne sauraient être admises que si elles sont établies au degré de la vraisemblance prépondérante (ATF 129 V 222 consid. 4.3.1 p. 224 et la référence). On ne saurait s'écarter du dernier salaire que l'assuré a obtenu avant l'atteinte à la santé pour le seul motif que celui-ci disposait, avant la survenance de son invalidité, de meilleures possibilités de gain que celles qu'il mettait en valeur et qui lui permettaient d'obtenir un revenu modeste (ATF 125 V 146 consid. 5c/bb p. 157 et les arrêts cités); il convient toutefois de renoncer à s'y référer lorsqu'il ressort de l'ensemble des circonstances du cas que l'assuré, sans invalidité, ne se serait pas contenté d'une telle rémunération de manière durable (PJA 2002 1487; RCC 1992 p. 96 consid. 4a).
5.2 En l'espèce, on ne dispose pas de renseignements concrets fiables sur le bénéfice que l'entreprise aurait pu dégager, sans la survenance de l'atteinte à la santé du recourant. Le recourant prétend qu'il aurait pu dégager avec son épouse un bénéfice global de 80'000 fr. par année. Toutefois, ainsi que cela ressort du tableau des comptes de l'entreprise sur lequel se sont fondés l'administration et les premiers juges pour calculer les revenus avec et sans invalidité du recourant, le bénéfice d'exploitation total entre 1999 et 2003 était de 27'714 fr. en moyenne, sans fluctuations importantes. En 2004, le bénéfice s'est élevé à 48'324 fr. Il a encore augmenté en 2005, atteignant 60'237 fr. En 2006, il était quasiment identique à celui de l'année 2005, atteignant 61'096 fr. Le fait que le bénéfice de l'entreprise est passé du simple au double entre 2003 et 2005 alors que le recourant était en incapacité de travail totale de décembre 2003 à juillet 2004 puis à 50 % de juillet 2004 au mois de novembre 2005 montre que le résultat de l'entreprise ne dépendait pas uniquement de l'engagement et des capacités du recourant mais de nombreux autres facteurs étrangers à l'invalidité. Aussi ne saurait-on admettre que sans la diminution de sa capacité de travail, le recourant aurait encore pu augmenter le bénéfice de son entreprise. En tout état de cause, ces éléments ne permettent pas de considérer que le revenu sans invalidité retenu par les premiers juges serait manifestement inexact.
Mal fondé, le recours doit être rejeté.
6. Vu l'issue du litige, les frais de la procédure sont mis à la charge du recourant (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 30 décembre 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz