Faits: A. X._, A. Z._ et Y._ sont copropriétaires de la parcelle n° 276 du registre foncier de la commune de Peyres-Possens, au lieu-dit "Les Morréments". Cette parcelle non bâtie, de 2'935 mètres carrés, est située en zone agricole selon le plan général d'affectation communal approuvé le 4 août 1982 par le Conseil d'Etat du canton de Vaud. A. Z._ et son époux B.Z._ sont également propriétaires, en zone du village A, de la parcelle adjacente à l'est n° 26, de 765 mètres carrés, qui supporte leur maison d'habitation. B.Z._ est en outre propriétaire de la parcelle n° 28, d'une surface de 1'018 mètres carrés, qui jouxte la parcelle n° 26, en zone du village A. Du 20 juin au 10 juillet 2000, A. et B. Z._ ont mis à l'enquête publique la construction de deux garages et d'une écurie pour quatre chevaux sur les parcelles nos 26 et 28. En même temps, X._, A. Z._ et Y._ ont mis à l'enquête publique la construction d'un paddock d'environ 40 sur 18 mètres sur la parcelle n° 276. Le dossier relatif à la construction des garages et de l'écurie a été transmis par les autorités communales à la Centrale des autorisations du Département des infrastructures du canton de Vaud. Tel n'est pas le cas en revanche du dossier relatif au paddock qui a fait l'objet d'une enquête communale sans publication dans la Feuille des avis officiels du canton de Vaud. Le 13 juillet 2000, la Municipalité de Peyres-Possens a délivré deux permis de construire, le premier portant sur la construction du paddock, le second autorisant la construction des deux garages et de l'écurie. Le 12 décembre 2001, des voisins se sont plaints que l'implantation du paddock ne correspondait pas au permis de construire délivré et que des écoulements ainsi qu'un chemin d'accès au paddock depuis les écuries avaient été réalisés sans autorisation sur la parcelle n° 276. Le 21 janvier 2002, la Municipalité de Peyres-Possens a écrit aux époux Z._ pour leur demander de régulariser la situation en mettant les ouvrages en conformité avec le permis de construire ou en soumettant à l'enquête publique complémentaire de nouveaux plans. X._, A. Z._ et Y._ ont opté pour la seconde solution. Une enquête publique complémentaire communale a eu lieu du 2 au 23 septembre 2002, basée sur un nouveau plan de situation du 8 août 2002 mentionnant l'implantation exacte du paddock et le chemin d'accès. Par courrier du 8 octobre 2002, la Municipalité de Peyres-Possens a informé les époux Z._ que l'enquête publique complémentaire n'avait pas suscité de remarques, que le plan de situation du 8 août 2002 annulait et remplaçait celui du 8 juin 2000 et que la mise en conformité du plan de situation avec l'état existant était ainsi réalisée sans qu'il y ait lieu de modifier le permis de construire. A cette occasion, aucune autorisation cantonale n'a été requise et, partant, délivrée. Par décision du 13 juin 2007, le Service de l'aménagement du territoire du canton de Vaud, devenu par la suite le Service du développement territorial, a constaté que le paddock n'avait pas fait l'objet de l'autorisation cantonale spéciale prescrite par la loi pour les ouvrages situés en zone agricole et a ordonné, dans un délai au 31 août 2007, la suppression du chemin et du carré de sable réalisés en zone agricole, l'évacuation du tout-venant et des autres matériaux mis en place pour renforcer le terrain et la revégétalisation en prairie de l'entier de la surface du carré de sable et du chemin jusqu'en limite de la zone de village A. Statuant par arrêt du 12 mars 2008, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours formé contre cette décision par X._, A. Z._ et Y._. Elle a estimé que le paddock n'était pas conforme à l'affectation de la zone agricole et qu'une autorisation fondée sur les art. 16a et 22 de la loi fédérale sur l'aménagement du territoire (LAT; RS 700) était dès lors exclue. Elle a par ailleurs considéré que l'installation ne pouvait pas davantage être admise à titre dérogatoire en application de l'art. 24 LAT et a confirmé l'ordre de démolition, un nouveau délai au 31 juillet 2008 étant imparti aux recourants pour procéder aux travaux de remise en état des lieux. B. Agissant par la voie du recours en matière de droit public, X._, A. Z._ et Y._ demandent au Tribunal fédéral de réformer cet arrêt en ce sens que le recours formé devant le Tribunal cantonal est admis, que l'arrêt cantonal attaqué est annulé et que des dépens de première instance leur sont alloués. Le Tribunal cantonal conclut au rejet du recours. La Municipalité de Peyres-Possens s'en remet à justice. Le Service cantonal du développement territorial et l'Office fédéral du développement territorial ont renoncé à déposer des observations. C. Par ordonnance du 8 mai 2008, le juge instructeur a admis la requête d'effet suspensif présentée par les recourants.