Faits: A. A.A._ et B.A._ sont propriétaires de la parcelle de base n° 104 de la commune de Bavois. Ce terrain a été divisé en différents lots de propriété par étages dont le lot n° 104-11 formé par un bâtiment ECA n° 290, actuellement utilisé comme dépôt sur un seul rez-de-chaussée. Le 10 juin 2010, A.A._ et B.A._ ont déposé une demande de permis de construire en vue de procéder à des travaux de rénovation du bâtiment ECA n° 290. Ils prévoyaient de remplacer la charpente par la pose d'une couverture en tuile en lieu et place de la couverture végétale existante. La demande de permis de construire, mise à l'enquête du 10 juillet au 9 août 2010, n'a pas soulevé d'opposition. La Centrale des autorisations (CAMAC) a communiqué à la municipalité de Bavois, le 17 août 2010, la synthèse des différentes autorisations et préavis des services cantonaux requis pour le projet de rénovation. Le Service du développement territorial a refusé de délivrer l'autorisation spéciale requise, motif pris que le projet modifiait de façon trop importante l'identité du bâtiment. La municipalité a informé les intéressés le 26 août 2010 qu'elle ne pouvait délivrer le permis de construire en raison du refus de l'autorisation spéciale. B. A.A._ et B.A._ ont porté leur cause devant la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) qui, après avoir procédé à une inspection locale en présence des parties, a rejeté le recours par arrêt du 31 mai 2012. Les juges cantonaux ont en substance confirmé l'appréciation du Service du développement territorial, considérant qu'en remplaçant la couverture végétale par une couverture en tuile, le projet modifiait l'une des caractéristiques essentielles du bâtiment existant. C. Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral de réformer la décision du Service du développement territorial du 17 août 2010 en ce sens qu'une autorisation spéciale leur est délivrée pour remplacer la toiture du bâtiment ECA n° 290 selon les plans déposés. Subsidiairement, ils concluent à l'annulation de l'arrêt du Tribunal cantonal du 31 mai 2012. Le Tribunal cantonal conclut au rejet du recours dans la mesure où il est recevable, en se référant aux considérants de son arrêt. Le Service du développement territorial conclut au rejet du recours et à la confirmation de l'arrêt attaqué. La municipalité de Bavois ne voit pas d'inconvénients à ce que la toiture soit rénovée avec des tuiles et souhaite avant tout que les travaux puissent être engagés rapidement en vue d'éviter tout accident. Les recourants ont réagi spontanément aux déterminations du Service cantonal du développement territorial, par courrier du 5 septembre 2012.