Faits: A. A._ et B._ sont propriétaires des parcelles 2071 et 2072 de la commune de St-Martin, dans le canton de Fribourg. D'une surface respective de 3'205 m2 et 2'000 m2, ces terrains, situés le long de la route principale à la sortie nord du village de Besencens, sont construits de fermes doubles à granges contiguës. Dans le cadre de la révision générale du plan d'aménagement local (ci-après: le PAL) de l'ancienne commune de Besencens, mis à l'enquête publique en avril 2003, le planificateur local avait décidé de maintenir en zone agricole les parcelles des époux A._ et B._. L'opposition des propriétaires, qui désiraient voir leurs terrains colloqués en zone à bâtir, avait été rejetée par la commune. Sur recours, la Direction cantonale de l'aménagement, de l'environnement et des constructions (ci-après: la Direction cantonale) avait confirmé la solution communale le 7 juillet 2004. Par arrêt du 23 décembre 2004, le Tribunal administratif du canton de Fribourg (actuellement et ci-après: le Tribunal cantonal) avait partiellement admis le recours des époux A._ et B._ et renvoyé la cause à la commune pour qu'elle intègre le bâtiment existant à la zone village. La cour cantonale avait notamment considéré que, dans la mesure où les parcelles en cause avaient une surface qui dépassait de beaucoup celle du bâtiment existant, il convenait de limiter la mise en zone village à une surface raisonnable autour de ce bâtiment. B. A la suite de la fusion des communes de Besencens, Fiaugères et St-Martin, la nouvelle commune, qui porte le nom de St-Martin, a procédé à une révision générale de son PAL. S'agissant des terrains appartenant aux époux A._ et B._, et en exécution de l'arrêt du Tribunal cantonal du 23 décembre 2004, ceux-ci ont été affectés à la zone village à raison de 1'630 m2 pour la parcelle 2071 et 320 m2 pour la parcelle 2072, de manière à permettre la transformation à des fins d'habitation de l'ensemble du volume construit existant. Il ressort du rapport explicatif d'octobre 2008, qu'à l'instar des parcelles voisines, la surface retenue pour la zone village permet éventuellement une deuxième construction en bordure de route, mais en exclut une deuxième en profondeur. Les époux A._ et B._ se sont opposés au projet de PAL, requérant pour l'essentiel que leurs parcelles soient affectées en totalité en zone village, subsidiairement à raison de 2'500 m2 pour la parcelle 2071 et 1'500 m2 pour la parcelle 2072. Leur opposition a été levée le 11 août 2009. Par décision du 25 juillet 2011, la Direction cantonale a rejeté le recours formé par les époux A._ et B._ contre la décision communale du 11 août 2009. Ceux-ci ont porté leur cause devant le Tribunal cantonal qui, par arrêt du 30 mars 2012, a également rejeté leur recours. Les juges cantonaux ont considéré en substance que la Direction cantonale avait correctement exercé son pouvoir d'examen et qu'il n'y avait pas d'inégalité de traitement en l'espèce. C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral de réformer l'arrêt du Tribunal cantonal du 30 mars 2012 en ce sens que la totalité des surfaces des parcelles 2071 et 2072 soit colloquée en zone de village, subsidiairement à raison de 2'500 m2 pour la parcelle 2071 et 1'500 m2 pour la parcelle 2072. A titre subsidiaire, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Le Tribunal cantonal ainsi que la Direction cantonale n'ont pas d'observations à formuler et concluent au rejet du recours. La commune de Saint-Martin ne s'est pas déterminée.