Faits: A. Souffrant de lombalgies chroniques depuis le mois de février 2002, I._ a déposé le 27 juin 2003 une demande de prestations de l'assurance-invalidité. Par décision du 4 juillet 2008, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: office AI) a nié le droit de l'intéressé à des prestations. B. L'assuré a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Après avoir mis en oeuvre une expertise auprès du docteur F._, psychiatre, le Tribunal cantonal a partiellement admis le recours et reconnu à l'assuré le droit à un trois quarts de rente à partir du 1er juillet 2007 (jugement du 9 mars 2010). C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à ce que la cause lui soit renvoyée pour nouvelle décision. I._ demande, sous suite de frais et dépens, le rejet du recours, tandis que l'Office fédéral des assurances sociales conclut à son admission.