Faits : A. A.a. En août 2011, A._ a acquis la parcelle n° 135 (actuellement n° 3154) du registre foncier de la commune de Chésopelloz. Situé en zone agricole, ce bien-fonds supporte un bâtiment construit en 1880 et désigné comme bâtiment agricole avec habitation. Il appartenait auparavant à B._ qui est propriétaire d'une entreprise agricole sur les parcelles situées à proximité. Depuis 2004, ce dernier a entrepris des démarches afin de transformer et vendre l'ancienne habitation située sur le bien-fonds n° 135. Dans ce contexte, le Service des constructions et de l'aménagement (SeCA) - après avoir effectué plusieurs inspections des lieux - a estimé que cette ancienne habitation était en état de ruine, le bâtiment ne pouvant plus être utilisé conformément à sa destination (cf. préavis des 27 septembre 2004 et 7 février 2005 et courriel du 30 mars 2005). Le SeCA a en particulier exposé que la partie supérieure du bâtiment (couverture, charpente, façades bois) était en très mauvais état général, qu'il n'y avait pas de raccordement à l'eau potable ni de système d'épuration (utilisation de la fosse à purin), qu'il n'y avait pas de chemin d'accès praticable et qu'aucun moyen de mise en oeuvre de protection et de conservation n'avait été pris après l'ouragan Lothar survenu fin 1999. A.b. Faisant suite à la dénonciation de la commune portant sur des travaux ne s'apparentant pas à de simples travaux d'entretien, le Préfet du district de la Sarine a ordonné le 20 juillet 2005 leur cessation immédiate; cette décision a été maintenue après une nouvelle inspection des lieux lors de laquelle le SeCA a souligné que le bâtiment ne pouvait plus être utilisé conformément à sa destination. La demande de permis de construire pour transformation et rénovation de la structure de la ferme déposée en août 2005 a été retirée, à la suite des préavis négatifs du SeCA du 14 mars 2006 et du Service de l'agriculture du 23 janvier 2006. Les travaux ont été poursuivis malgré les ordres de suspension signifiés en mai et septembre 2006. Le 20 novembre 2007, le Tribunal cantonal a confirmé la décision de suspension des travaux entrepris illégalement et, le 11 juillet 2008, la commune a dénoncé de nouveaux travaux. A.c. En tant qu'autorité compétente pour instruire la procédure de rétablissement de l'état de droit concernant les travaux de construction, la Direction de l'aménagement, de l'environnement et des constructions du canton de Fribourg (DAEC) a ordonné, le 21 mai 2014, la démolition intégrale du bâtiment, après avoir procédé à une inspection des lieux. B. Par arrêt du 27 mars 2015, la IIe Cour administrative du Tribunal cantonal de l'Etat de Fribourg a confirmé la décision de la DAEC. En substance, elle a considéré que l'ancienne habitation agricole était en ruine et ne pouvait donc pas bénéficier de la garantie de la situation acquise ancrée à l'art. 24c LAT. Les travaux entrepris ne pouvaient pas non plus être autorisés en application de l'art. 24d al. 1 et 2 LAT, ni de l'art. 24e LAT. Enfin, l'ordre de démolition intégrale du bâtiment était justifié par un intérêt public important et respectait le principe de la proportionnalité. C. Par mémoire de recours du 19 avril 2015, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal et l'ordre de démolition. A titre subsidiaire, il demande que l'Etat de Fribourg le dédommage pour certains frais engagés et que les frais de démolition soient répartis entre l'ancien et le nouveau propriétaire. Le Tribunal cantonal et la DAEC concluent au rejet du recours, tandis que le Préfet et la Commune renoncent à déposer des observations. L'Office fédéral du développement territorial indique que l'affaire ne soulève pas, au regard du droit fédéral de l'aménagement du territoire et de la planification, des questions de principe nécessitant des observations de sa part. Le recourant dépose en août 2015 une écriture spontanée.