Faits: A. A._ est propriétaire de la parcelle 65 du cadastre de la commune de Bellerive (ci-après: la commune), sise en zone agricole. Il l'a acquise en 2001 afin d'y héberger ses étalons, de les débourrer et effectuer un travail de dressage, activités qu'il exerce à titre de loisir. Selon ses explications, il est propriétaire de deux étalons âgés avec lesquels il n'a plus d'activités et de trois étalons et un hongre qu'il dresse notamment en vue de participer à des corridas. Il possède également un taureau et des chèvres. Ayant appris qu'un rond de longe avait été aménagé sur la propriété de l'intéressé mais ne trouvant aucune trace de ces différents travaux dans ses dossiers, le Service cantonal du développement territorial (ci-après: le Service cantonal) a demandé à la municipalité, par courrier du 5 décembre 2006, de bien vouloir le renseigner à ce sujet. Après avoir procédé à un échange de courriers et à une inspection locale, le Service cantonal a rendu une décision, le 3 octobre 2007, qui ordonnait notamment à l'intéressé de réduire l'aire de débourrage de 700 m2 à 180 m2 et de "revégétaliser" (prairie) 520 m2 dudit rond de longe (chiffre 8 de la décision). B. A._ a porté sa cause devant le Tribunal administratif du canton de Vaud (actuellement la Cour de droit administratif et public du Tribunal cantonal; ci-après: le Tribunal cantonal). Une audience a été tenue à Bellerive le 16 mai 2008 en présence des parties et le Tribunal cantonal a effectué une visite des lieux. Par arrêt du 8 mai 2009, le recours de l'intéressé a été très partiellement admis et la décision attaquée a été confirmée en tant qu'elle portait sur la remise en l'état partiel du paddock. Il a été retenu en substance que le rond de longe litigieux (ou paddock, ou aire de débourrage) ne pouvait être admis à titre dérogatoire en application des art. 24 à 24d de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700). L'entrée en vigueur, le 1er septembre 2008, de l'ordonnance fédérale du 23 avril 2008 sur la protection des animaux (OPAn, RS 455.1) ne permettait pas pour autant de délivrer une autorisation spéciale. L'ordre de remise en l'état respectait par ailleurs le principe de la proportionnalité et l'intéressé invoquait en vain son droit à la protection de la bonne foi. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt du Tribunal cantonal du 8 mai 2009 en ce sens que la décision du Service cantonal ordonnant la réduction de l'aire de débourrage de 700 m2 à 180 m2, soit la "revégétalisation" de 520 m2 dudit rond de longe, est annulée, subsidiairement réformée dans ce sens que l'aire de débourrage est réduite de 700 m2 à 540 m2 dans un délai fixé à dire de justice, le permis de construire cette installation étant accordé. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il se plaint pour l'essentiel d'une violation du droit fédéral, en particulier des art. 24c et 24d al. 1bis LAT ainsi que 61 OPAn, et se prévaut de son droit à la protection de la bonne foi. Le Tribunal cantonal conclut au rejet du recours en se référant aux considérants de son arrêt. Le Service cantonal conclut au rejet du recours et la commune à son admission. Le recourant a répliqué aux observations du Service cantonal. Par ordonnance du 8 juillet 2009, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif contenue dans le recours. L'Office fédéral du développement territorial propose le rejet du recours. Le recourant et le Service cantonal se sont déterminés sur la prise de position de l'Office fédéral. Sur requête du recourant, l'Office vétérinaire fédéral a été invité à présenter ses observations et s'est exprimé le 29 janvier 2010. Le recourant et le Service cantonal ont répliqué. L'Office fédéral du développement territorial a fait part de ses observations au sujet des déterminations de l'Office vétérinaire fédéral le 15 avril 2010.