Faits: Faits: A. A._ est propriétaire de la parcelle n° 59ab de la Commune de Haut-Intyamon, dans le secteur des Sciernes d'Albeuve. Lorsque son père en a fait l'acquisition en juillet 1974, cette parcelle se trouvait en zone constructible. Elle a été colloquée en zone agricole dans le cadre du plan d'aménagement local communal approuvé par le Conseil d'Etat fribourgeois le 24 mai 1977. Elle comporte notamment un cabanon de jardin de 17 mètres carrés, avec une terrasse couverte d'une surface comparable et fermée sur trois de ses côtés, auquel on accède par des escaliers. Dans le courant du mois d'août 2003, A._ a fait appel aux services de l'entreprise Y._, à Bulle, pour démolir le cabanon ainsi que la terrasse couverte et aménager une plate-forme au même endroit afin d'y déposer deux containers de respectivement 18 mètres carrés et 8,40 mètres carrés. Pour accéder au chantier, cette société a aménagé une piste provisoire dans le talus existant sur la parcelle voisine, dont elle est propriétaire. Sur dénonciation de la Commune de Haut-Intyamon, le Préfet du district de la Gruyère a ordonné la suspension immédiate des travaux en date du 28 août 2003. Après s'être assuré auprès du Service cantonal des constructions et de l'aménagement qu'une légalisation du projet était exclue, il a, par décision du 30 septembre 2003, imparti à A._ un délai au 30 novembre 2003 pour enlever les deux containers érigés illégalement sur sa parcelle et pour remettre en état le chemin d'accès aménagé dans la situation qui prévalait avant les travaux. Le 15 octobre 2003, A._ a recouru contre cette décision auprès du Tribunal administratif du canton de Fribourg (ci-après: le Tribunal administratif). Le 20 octobre 2003, il a déposé auprès de la Commune de Haut-Intyamon une demande de permis de construire visant à régulariser la construction érigée sans droit, qui est restée sans suite. Au terme d'un arrêt rendu le 4 décembre 2003, le Tribunal administratif a rejeté le recours de A._ et lui a imparti un nouveau délai au 1er avril 2004 pour remettre les lieux en état. Il a considéré en substance que la nouvelle construction était contraire à l'art. 24c de la loi fédérale sur l'aménagement du territoire (LAT; RS 700) tant par sa taille que par son affectation. Il a également admis que la route d'accès était une construction nouvelle, dont l'implantation hors de la zone à bâtir n'était pas imposée par sa destination au sens de l'art. 24 LAT. Il a par ailleurs tenu l'ordre de démolition pour conforme au principe de la proportionnalité, tout en laissant indécise l'issue d'une éventuelle demande de permis de construire portant sur un ouvrage de dimension réduite, dont le volume correspondrait à l'ancien cabanon. Le 15 octobre 2003, A._ a recouru contre cette décision auprès du Tribunal administratif du canton de Fribourg (ci-après: le Tribunal administratif). Le 20 octobre 2003, il a déposé auprès de la Commune de Haut-Intyamon une demande de permis de construire visant à régulariser la construction érigée sans droit, qui est restée sans suite. Au terme d'un arrêt rendu le 4 décembre 2003, le Tribunal administratif a rejeté le recours de A._ et lui a imparti un nouveau délai au 1er avril 2004 pour remettre les lieux en état. Il a considéré en substance que la nouvelle construction était contraire à l'art. 24c de la loi fédérale sur l'aménagement du territoire (LAT; RS 700) tant par sa taille que par son affectation. Il a également admis que la route d'accès était une construction nouvelle, dont l'implantation hors de la zone à bâtir n'était pas imposée par sa destination au sens de l'art. 24 LAT. Il a par ailleurs tenu l'ordre de démolition pour conforme au principe de la proportionnalité, tout en laissant indécise l'issue d'une éventuelle demande de permis de construire portant sur un ouvrage de dimension réduite, dont le volume correspondrait à l'ancien cabanon. B. Agissant par la voie du recours de droit administratif, A._ demande au Tribunal fédéral d'annuler l'ordre de démolition de la construction érigée aux Sciernes d'Albeuve et de lui octroyer le permis de construire relatif à cet ouvrage. Il prétend que la reconstruction du cabanon de jardin pouvait parfaitement être autorisée en vertu de l'art. 24c LAT et conteste la proportionnalité de l'ordre de remise en état qui lui a été notifié. Il fait également grief au Tribunal administratif d'avoir statué sans avoir attendu l'issue de la demande de régularisation du projet. Le Tribunal administratif, le Préfet du district de la Gruyère et la Commune de Haut-Intyamon concluent au rejet du recours. L'Office fédéral du développement territorial propose également de le rejeter. Le Tribunal administratif, le Préfet du district de la Gruyère et la Commune de Haut-Intyamon concluent au rejet du recours. L'Office fédéral du développement territorial propose également de le rejeter. C. Par ordonnance du 19 février 2004, le Président de la Ire Cour de droit public a admis la demande d'effet suspensif présentée par le recourant.