Faits : A. La parcelle n° AF 182.01 du registre foncier de la commune bernoise de Court (numérotation de la procédure d'amélioration foncière, correspondant à l'actuelle parcelle n° 2076), sise en zone agricole, a été attribuée à A._, dans le cadre d'un remaniement parcellaire. Le 22 mars 2010, A._ et B._ ont constitué une société simple ayant pour but la gestion en commun du domaine se trouvant en propriété de ce premier, y compris les inventaires et les terrains loués. Le 4 avril 2011, A._ et B._ ont déposé une demande de permis de construire, datée du 30 septembre 2010, auprès de la commune de Court (ci-après: la commune), pour le remblayage du terrain de la parcelle n° AF 182.01, sur une surface de 5'400 m 2, avec aménagement d'un accès et démolition du bâtiment en bois. Le 14 avril 2011, la commune a transmis la demande à la Préfecture du Jura bernois (ci-après: la Préfecture) comme objet de sa compétence. Le 6 juin 2011, le Service archéologique du canton de Berne (ci-après: le Service archéologique) a recommandé le refus du permis de construire en indiquant que le projet en question touchait une zone archéologique d'importance nationale. Après avoir procédé à une nouvelle campagne de sondage, le Service archéologique a confirmé, dans son rapport du 24 octobre 2011, que le projet était selon lui incompatible avec la préservation du site. La Préfecture a par ailleurs recueilli des rapports notamment de l'Office des affaires communales et de l'organisation du territoire, de l'Office des eaux et des déchets, de la commune de Court, ainsi que le dossier du Syndicat d'amélioration foncière intégrale de Court concernant A._. Par décision du 27 juin 2013, la Préfecture a rejeté la demande de permis de construire. Le 21 novembre 2013, le Service archéologique a précisé et confirmé son rapport du 24 octobre 2011. Par décision du 14 mai 2014, la Direction des travaux publics, des transports et de l'énergie du canton de Berne (ci-après: la Direction des travaux publics) a admis très partiellement le recours déposé par A._ et B._ contre la décision du 27 juin 2013: elle a autorisé la démolition du bâtiment et a refusé le permis de construire pour ce qui concerne le remblayage et le chemin d'accès. Par jugement du 23 octobre 2015, la Cour des affaires de langue française du Tribunal administratif du canton de Berne (ci-après: le Tribunal administratif) a rejeté le recours interjeté par A._ et B._ contre la décision du 14 mai 2014. Elle a considéré en substance que les conditions des art. 34 al. 4 de l'ordonnance fédérale du 28 juin 2000 sur l'aménagement du territoire (OAT; RS 700.1) et 24 de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700) n'étaient pas remplies, de sorte que l'autorisation de construire sollicitée ne pouvait pas être octroyée. B. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent principalement au Tribunal fédéral de faire droit à la demande de permis de construire du 30 septembre 2010. Ils concluent subsidiairement au renvoi de la cause à l'instance précédente ou à l'autorité de première instance pour nouvelle décision au sens des considérants. Invitée à se déterminer, la Direction des travaux publics conclut au rejet du recours, en se référant au jugement attaqué. Le Tribunal administratif renvoie à son jugement. La Direction de l'instruction publique du canton de Berne maintient les avis et conclusions du Service archéologique du canton de Berne des 21 novembre 2013 et 24 octobre 2011. L'Office fédéral du développement territorial a renoncé à se déterminer.