Faits:
A. Souffrant de lombalgies chroniques depuis le mois de février 2002, I._ a déposé le 27 juin 2003 une demande de prestations de l'assurance-invalidité. Par décision du 4 juillet 2008, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: office AI) a nié le droit de l'intéressé à des prestations.
B. L'assuré a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Après avoir mis en oeuvre une expertise auprès du docteur F._, psychiatre, le Tribunal cantonal a partiellement admis le recours et reconnu à l'assuré le droit à un trois quarts de rente à partir du 1er juillet 2007 (jugement du 9 mars 2010).
C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à ce que la cause lui soit renvoyée pour nouvelle décision.
I._ demande, sous suite de frais et dépens, le rejet du recours, tandis que l'Office fédéral des assurances sociales conclut à son admission.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte uniquement sur le point de savoir si c'est à juste titre que les premiers juges ont fixé au 1er juillet 2007 le début du droit à un trois quarts de rente d'invalidité ou s'ils auraient dû retenir une date postérieure comme le soutient le recourant. Le droit à la rente n'est lui-même pas remis en cause.
3. Examinant les pièces médicales au dossier, la juridiction cantonale a constaté que l'intimé ne présentait pas de maladie somatique. En revanche, faisant siennes les conclusions de l'expertise du docteur F._, elle a retenu qu'il souffrait d'un trouble somatoforme douloureux persistant accompagné d'une comorbidité psychiatrique significative. En raison de ces atteintes, l'assuré disposait d'une capacité de travail réduite de 50 % dans une activité adaptée à partir du 1er avril 2007. Avant cette date, les premiers juges ont considéré que l'état psychopathologique de l'intimé n'était que transitoire et ne constituait pas une maladie invalidante au sens de la loi. Fixant à 63 % le degré d'invalidité, ils ont reconnu à l'intéressé le droit à un trois quarts de rente à partir du 1er juillet 2007, soit trois mois après l'aggravation de son état de santé survenu au mois d'avril 2007, en application de l'art. 88a al. 2 RAI.
4. 4.1 L'office recourant se plaint d'une violation de l'art. 88a al. 2 RAI. Il reproche à la juridiction cantonale d'avoir fait débuter le droit de l'intimé à un trois quarts de rente trois mois après la survenance de l'incapacité de travail (art. 88a al. 2 RAI), sans avoir appliqué l'art. 29 al. 1 let. b LAI (dans sa teneur en vigueur jusqu'au 31 décembre 2007), qui prévoit un délai d'attente d'une année.
4.2 Selon l'art. 29 al. 1 let. b LAI invoqué par le recourant - art. 28 al. 1 let. b LAI pour la période du 1er janvier 2008 jusqu'à la date déterminante de la décision administrative litigieuse -, le droit à une rente prend naissance au plus tôt à la date dès laquelle l'assuré a présenté, en moyenne, une incapacité de travail de 40 % au moins pendant une année sans interruption notable (art. 6 LPGA). L'art. 88a al. 2 RAI prévoit notamment que si l'incapacité de gain s'aggrave, il y a lieu de considérer que ce changement accroît, le cas échéant, le droit aux prestations de l'assuré dès qu'il a duré trois mois sans interruption notable. Cette disposition fixe le moment à partir duquel une modification de l'invalidité d'un bénéficiaire de rente est réputée suffisamment durable pour déployer ses effets sur le droit aux prestations. Le délai de trois mois qui y est prévu s'applique non seulement dans le cadre d'une modification du droit à une rente précédemment allouée à l'occasion d'une procédure de révision (art. 17 LPGA), mais également lorsqu'une rente échelonnée dans le temps est accordée à titre rétroactif (<ref-ruling> consid. 2d p. 417). Cette deuxième éventualité ne doit toutefois pas conduire à contourner le délai d'attente d'une année imposé par la loi en cas d'ouverture du droit à une rente (art. 29 al. 1 let. b aLAI, dès le 1er janvier 2008, art. 28 al. 1 let. b LAI). Concrètement, le délai de trois mois de l'art. 88a RAI, qui est étroitement lié à un cas de révision, ne saurait débuter avant que la période de carence d'une année ne soit arrivée à échéance (arrêt I 179/01 du 10 décembre 2001 consid. 3b).
4.3 Selon les constatations des premiers juges, l'assuré n'a présenté aucune incapacité de travail déterminante avant le 1er avril 2007, date à partir de laquelle il a disposé d'une capacité de travail réduite de 50 %. Ces constatations, qui ne sont pas sérieusement remises en cause par l'intimé qui cite de manière incomplète les considérations des premiers juges, lient le Tribunal fédéral (supra consid. 1). Par conséquent, en application de l'art. 29 al. 1 let. b aLAI le délai d'attente d'une année a commencé à courir à partir du 1er avril 2007 pour arriver à échéance le 31 mars 2008 (art. 28 al. 1 let. b LAI), de sorte que le droit à la rente n'a pris naissance qu'à compter du 1er avril 2008. A ce moment-là, l'intimé a droit à un trois quarts de rente en raison du degré d'invalidité de 63 % retenu par la juridiction cantonale.
5. En conséquence de ce qui précède, le jugement entrepris doit être réformé en ce sens que l'intéressé a droit à un trois quarts de rente à partir du 1er avril 2008.
6. Vu l'issue du litige, l'intimé supportera les frais de justice de la présente procédure (art. 66 al. 1 LTF). Il ne saurait, par ailleurs, prétendre une indemnité de dépens pour l'instance fédérale (art. 68 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le chiffre II du dispositif du jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 9 mars 2010 est réformé en ce sens que I._ est mis au bénéfice d'un trois quarts de rente d'invalidité avec effet au 1er avril 2008.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 1er février 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Reichen