Faits : A. C.X._ est décédé le 5 juin 2009. Il était propriétaire-exploitant d'un domaine agricole et viticole composé des parcelles no *** de la Commune de D._, nos **, **, ***, ***, ***, ***, ***, ***, ***, ***, ***, ***, ****, **** de la Commune de E._ et no ** de la Commune de F._, soit 162'602 m 2 constitués de pré-champ, 44'365 m 2 de forêt et 6'162 m 2 de vigne. Ses héritiers sont ses deux fils, A.X._, né en 1992, et B.X._, né en 1994. La soeur du défunt, Y._, a déclaré être intéressée par l'attribution des biens-fonds susmentionnés. Depuis le décès de C.X._, le domaine est exploité par sa famille, à l'exception de deux parcelles plantées de vigne, d'environ 7'000 m 2, que le défunt avait prises à ferme et exploitait, mais qui le sont désormais par un tiers, entrepreneur de travaux agricoles. Ces deux parcelles sont toutefois encore déclarées au Service de l'agriculture du canton de Vaud (ci-après: le Service de l'agriculture), sous le nom de la succession X._. Le 16 février 2011, agissant au nom de leurs pupilles, les deux curatrices de A.X._ et B.X._ ont adressé à la Commission foncière rurale du canton de Vaud, section I (ci-après: la Commission foncière), une requête tendant à ce qu'il soit constaté que le patrimoine dont ils ont hérité de feu leur père est constitué d'immeubles agricoles et non d'une entreprise agricole au sens du droit foncier rural. Ladite commission a considéré, par décision du 13 juillet 2012, que les besoins en main-d'oeuvre du domaine en cause étaient de 0,952 unité de main-d'oeuvre standard (ci-après: UMOS) et que celui-ci ne pouvait dès lors constituer une entreprise agricole, compte tenu de la limite légale de 1 UMOS. Elle s'est basée pour cela sur le rapport du 19 avril 2012 établi par G._ Sàrl, à sa demande. Cette société y précise ce qui suit: "4.2 Principes d'analyse Surfaces : (...) Toutes les surfaces propriété de la succession X._ seront prises en compte... En ce qui concerne les affermages de complément, nous prendrons en considération les deux parcelles de pré-champ mais également les deux parcelles de vigne, quand bien même celles-ci sont en réalité maintenant exploitées directement par [un tiers]. En effet, dès lors que ces deux surfaces sont encore annoncées auprès du Service cantonal de l'agriculture dans le cadre des déclarations officielles, nous en tiendrons compte. Il n'appartient toutefois pas au soussigné de se prononcer sur cette question de droit particulière." B. Y._ a attaqué cette décision devant la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Elle demandait qu'une variante incluant différents éléments, tel que la détention de vaches allaitantes et de chevaux soit examinée pour juger si l'on était en présence d'une entreprise agricole. Lors de l'instruction de la cause, le Service de l'agriculture a produit un complément d'expertise du 8 avril 2013 fourni par G._ Sàrl. Par arrêt du 17 octobre 2013, le Tribunal cantonal a admis le recours et réformé la décision du 13 juillet 2012 de la Commission foncière en ce sens que les parcelles en cause constituaient une entreprise agricole au sens du droit foncier rural. Il a jugé qu'il fallait prendre en compte les deux parcelles de vigne prises à ferme auparavant par feu C.X._, dès lors qu'elles étaient encore inscrites auprès du Service de l'agriculture comme faisant partie de l'exploitation. Il a aussi estimé qu'il fallait retenir la qualité biologique de l'exploitation. Il arrivait ainsi à un total de 1.127 UMOS. C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, de constater que les parcelles susmentionnées ne constituent pas une entreprise agricole; subsidiairement, ils requièrent que l'arrêt du 17 octobre 2013 soit annulé et que la cause soit renvoyée au Tribunal cantonal pour un nouvel arrêt dans le sens des considérants. La Commission foncière conclut à l'admission du recours. Le Tribunal cantonal et Y._ concluent à son rejet.