Faits:
A. Se fondant sur les actes médicaux recueillis et sur une enquête économique pour les indépendants du 6 décembre 2004 (rapport du 27 janvier 2005), l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: OAI) a refusé, par décision du 4 avril 2006, en raison d'un degré d'invalidité insuffisant, de mettre S._, né en 1962, gérant de bar indépendant de 1998 à octobre 2003, au bénéfice d'une rente d'invalidité pour les suites d'une blessure à la main gauche; il a confirmé son point de vue suite à l'opposition de l'intéressé par décision du 5 décembre 2007.
B. Saisi d'un recours de l'assuré contre cette dernière décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 24 octobre 2008.
C. S._ interjette un recours en matière de droit public contre ce jugement et conclut, sous suite de frais et de dépens, principalement à l'octroi d'une demi-rente d'invalidité avec effet au 1er juillet 2003 ainsi qu'à des mesures professionnelles et, subsidiairement, au renvoi de la cause à la juridiction cantonale, afin qu'elle procède à une instruction complémentaire et rende un nouveau jugement.
L'OAI conclut à la confirmation du jugement entrepris, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF, le Tribunal fédéral statuant en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. La constatation des faits importants pour le jugement en cause ne peut être critiquée que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), ou lorsque l'appréciation des preuves est arbitraire (ATF 134 V 53 consid. 4.3 p. 62, 120 Ia 31 consid. 4b p. 40, 118 Ia 28 consid. 1b p. 30).
2. Le litige porte, en premier lieu, sur le droit du recourant à une rente d'invalidité. A cet égard, le jugement entrepris expose correctement les règles légales et la jurisprudence applicables en l'espèce, en particulier en ce qui concerne l'évaluation du taux d'invalidité des personnes exerçant une activité lucrative selon l'art. 16 LPGA. Il suffit dès lors d'y renvoyer.
3. Le recourant ne conteste pas, à juste titre, qu'après avoir fait l'objet d'une période d'incapacité de travail entière de novembre 2002 à juillet 2003, il a présenté de nouveau une capacité de rendement entière dans une activité adaptée, sans mouvements répétitifs et sans effort pour les mains. Contre l'évaluation de l'invalidité telle qu'elle a été déterminée par la juridiction cantonale, il invoque deux griefs, dont l'un concerne le revenu en tant que personne valide, l'autre le revenu d'invalide.
3.1 Le recourant fait valoir, en ce qui concerne le revenu sans invalidité, que pour évaluer le revenu d'une personne non invalide de condition indépendante, il convient d'examiner le développement probable qu'aurait suivi l'entreprise de la personne assurée si celle-ci n'était pas devenue invalide. En particulier, il allègue que son établissement public n'était pas rentable avant 2003, mais que, depuis la rénovation de ce bar, le chiffre d'affaires avait fortement augmenté. Il estime que, dans la mesure où son activité habituelle avait été reprise par une autre personne et que son entreprise était gérée par cette même personne, il faut prendre en compte le revenu de cette dernière.
Cet argument n'est pas fondé. En effet, le revenu obtenu en tant que gérant indépendant de bar est documenté par l'administration pour une période suffisamment longue et a été constaté, par la juridiction de première instance, de manière à lier le Tribunal fédéral. Les circonstances invoquées par le recourant, selon lequel le gérant de bar qui lui a succédé avait pu obtenir des revenus nettement supérieurs à ceux qui ont été pris en considération pour déterminer son revenu en tant que personne valide, et selon lequel, durant les années 2000/2001 les travaux de rénovation, importants pour le développement du chiffre d'affaires et les bénéfices obtenus dans la gestion du bar en question, n'avaient pas encore été effectués, ne mettent en question ni les bénéfices effectivement réalisés par l'assuré ni le caractère représentatif de ce revenu. Car ces circonstances font partie des « conditions personnelles » auxquelles les premiers juges ont fait référence et dont ils ont, contrairement aux griefs du recourant, tenu compte dans le jugement entrepris. Dans ces conditions, en fixant à 56'720 frs. le revenu réalisable en tant que gérant indépendant de bar sans invalidité, le Tribunal cantonal n'a pas établi l'état de fait de manière incomplète ou en violation du droit fédéral et ne s'est pas fondé sur des faits constatés de manière manifestement inexacte.
3.2 Le recourant conteste aussi la manière dont la juridiction cantonale a établi son revenu d'invalide. Il fait valoir que, en choisissant la solution qui consiste à se fonder sur la statistique des salaires bruts standardisés, les premiers juges ont porté préjudice de manière disproportionnée à sa situation, puisqu'il avait travaillé essentiellement dans la restauration et la vente, deux domaines les moins bien rémunérés. Il sollicite dès lors que la question de la pertinence de l'application des valeurs médianes à sa situation soit réexaminée, en soutenant qu'il y a lieu d'appliquer seulement la valeur de sa branche d'activité, soit le domaine de l'hôtellerie et la restauration.
Ce grief n'est pas davantage fondé. Bien que, en tant que personne sans invalidité, le recourant exercerait vraisemblablement son activité dans le domaine de la gastronomie, dans lequel les revenus sont, du point de vue de l'économie générale, inférieurs à la moyenne, la détermination du revenu d'invalide suppose - à la différence de ce qui vaut dans le cadre de la fixation du revenu d'une personne sans invalidité - la prise en considération de l'obligation pour l'assuré de diminuer le dommage, principe général du droit des assurances sociales (cf. ATF 134 V 64 consid. 4 p. 69). Or, cette exigence signifie, dans le cas d'espèce, que l'assuré qui demande d'être mis au bénéfice d'une rente est tenu d'exercer une activité dans tous les secteurs économiques disponibles, sans se limiter au domaine dans lequel il travaillerait en tant que personne non atteinte dans sa santé (cf. p. ex. arrêt 9C_393/2008 du 27 janvier 2009 consid. 3.3).
3.3 L'estimation du degré d'invalidité par les premiers juges (8 %) doit donc être confirmée, de sorte qu'un droit à des prestations de reclassement n'est pas non plus fondé.
4. Le recours se révèle dès lors mal fondé. Le recourant, qui succombe, supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1, 1ère phrase, LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 4 juin 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Scartazzini