Faits :
A.
B._ était propriétaire, du 31 mai 1974 au 2 juillet 2014, de la parcelle n° 110 de la Commune de Bonvillars. D'une surface de 1'245 m2, ce bien-fonds comprend deux bâtiment, dont un d'habitation, ainsi qu'une place-jardin de 603 m2et un pré-champ de 533 m2. Selon le plan général d'affectation communal du 9 décembre 1996, cette parcelle est colloquée en zone agricole.
En 1983, le propriétaire a construit une piscine de 45 m2, conformément aux autorisations alors délivrées par la commune et le canton.
En 2001, le propriétaire a installé une couverture de piscine télescopique démontable de 13 m de long, 8 m de large et 2 m 80 de hauteur, couvrant une surface d'environ 110 m2. Il avait informé la Municipalité de Bonvillars de ses intentions et celle-ci, lui ayant indiqué que la mise à l'enquête de cette couverture n'avait suscité aucune remarque ni opposition, lui avait accordé l'autorisation sollicitée le 17 juillet 2001.
B.
Par décision du 21 mai 2014, le Service cantonal du développement territorial (SDT) a ordonné à B._ de démonter la couverture télescopique de la piscine, de supprimer la zone de dallage à l'exception d'une rangée autour de la piscine et de rétablir et ensemencer le terrain naturel, les matériaux (couverture télescopique et dallettes) devant être évacués dans un dépôt agréé par la Direction générale de l'environnement.
Saisie d'un recours contre cette décision, la Cour de droit administratif et public du Tribunal cantonal l'a confirmée par arrêt du 14 juillet 2015. En cours d'instance, A._ a acquis la parcelle litigieuse de son père et s'est substitué à celui-ci dans la procédure.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que la décision rendue le 21 mai 2014 est annulée, subsidiairement d'annuler l'arrêt cantonal et de renvoyer la cause au Tribunal cantonal pour nouvelle décision au sens des considérants.
La cour cantonale se réfère aux considérants de son arrêt. Le SDT se détermine sur le recours. La commune ne se manifeste pas. Consulté, l'Office fédéral du développement territorial conclut au rejet du recours. Le recourant ne réplique pas.
Par ordonnance du 8 octobre 2015, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif déposée par le recourant.

Considérant en droit :
1.
Le recours est formé contre un arrêt final rendu en dernière instance cantonale, dans une cause de droit public. Il est recevable au regard des art. 82 let. a, 86 al. 1 let. d et 90 LTF. Le recourant, particulièrement touché par l'arrêt attaqué qui confirme l'ordre de remise en état pour des constructions réalisées sur sa parcelle, a qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière.
2.
Aucune construction ou installation ne peut être créée ou transformée sans autorisation de l'autorité compétente (art. 22 al. 1 LAT). Pour tous les projets de construction situés hors de la zone à bâtir, l'autorité cantonale compétente décide si ceux-ci sont conformes à l'affectation de la zone ou si une dérogation peut être accordée. En l'espèce, il est constant que l'autorisation délivrée par l'autorité communale sans consultation de l'autorité cantonale compétente est nulle.
Pour qu'une autorisation soit délivrée, la construction ou l'installation doit notamment être conforme à l'affectation de la zone (art. 22 al. 2 let. a LAT). Les art. 24 ss LAT règlent les exceptions hors de la zone à bâtir. Il n'est pas contesté en l'espèce que, même en application du droit en vigueur au moment où la couverture télescopique a été installée, réputé plus favorable que le droit actuel, aucune exception ne permettait d'autoriser l'installation litigieuse, de sorte qu'aucun permis de construire ne peut être accordé a posteriori.
En revanche, le recourant fait valoir que l'ordre de démolition serait arbitraire et violerait la protection de la bonne foi du propriétaire.
2.1. Découlant directement de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi protège le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration (<ref-ruling> consid. 3.6.3 p. 193; <ref-ruling> consid. 2.5.1 p. 73; <ref-ruling> consid. 6.1 p. 636 s.). Une particularité du droit à la protection de la bonne foi consiste dans le fait qu'il peut, le cas échéant, contraindre l'autorité à prendre une décision contraire à la loi (AUER/MALINVERNI/ HOTTELIER, Droit constitutionnel suisse vol. II - les droits fondamentaux, 3e éd. 2013, n° 1180, p. 550; cf. également KNAPP, Précis de droit administratif, 4e éd. 1991, n° 512, p. 109; arrêt 1C_18/2015 du 22 mai 2015 consid. 3.1.1). Pour que le justiciable puisse invoquer cette protection, il faut que l'autorité qui a donné son assurance ait été compétente pour le faire, ou que le justiciable ait pu la considérer comme telle (<ref-ruling> consid. 3.6.2 p. 193; <ref-ruling> consid. 3a p. 35 s.). Il faut par ailleurs que l'administré n'ait pas pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu, qu'il se soit fondé sur les assurances dont il se prévaut pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice et que l'intérêt à une correcte application du droit ne se révèle pas prépondérant sur la protection de la confiance (<ref-ruling> consid. 3.6.2 p. 193; <ref-ruling> consid. 2.5.1 p. 72 s.; <ref-ruling> consid. 6.1 p. 637).
Lorsqu'une construction déjà réalisée contrevient aux règles légales et ne peut par conséquent être autorisée a posteriori, cela ne signifie pas encore qu'elle ne peut être utilisée ni que l'état antérieur doit nécessairement être rétabli (<ref-ruling> consid. 6 p. 35). Il convient à ce stade d'examiner la situation au regard des principes généraux du droit administratif, en particulier les principes de la proportionnalité et de la protection de la bonne foi. Aussi l'autorité renonce-t-elle à exiger la remise en état lorsque celle-ci ne revêt pas d'intérêt public ou lorsque les dérogations aux règles sont mineures. Il en va de même lorsque le maître de l'ouvrage a pensé de bonne foi faire un usage correct de l'autorisation reçue, pour autant que le maintien de la situation illégale ne contrevienne pas à d'importants intérêts publics (<ref-ruling> consid. 6 p. 35; <ref-ruling> consid. 5b p. 303; <ref-ruling> consid. 4 p. 69). Dans ce contexte, la bonne foi de l'administré est un élément qui entre dans le pesée des intérêts (cf. <ref-ruling> consid. 4a p. 245; cf. MOOR/FLÜCKIGER/MARTHENET, Droit administratif vol. I - Les fondements, ch. 6.4.3, p. 933), mais il n'est pas seul décisif, aucun intérêt public ni privé ne devant, de surcroît, imposer que la situation soit rendue conforme au droit (ZEN-RUFFINEN/GUY-ECABERT, Aménagement du territoire, construction expropriation, n° 997, p. 429; arrêt 1C_587/2014 du 23 juillet 2015 consid. 6.1).
2.2. L'argumentation du recourant est essentiellement destinée à démontrer la bonne foi de son père, lorsque celui-ci s'est adressé à la commune. Il est vrai que celui-ci a, à cette occasion, expressément demandé si une autorisation spéciale était requise et que, vu la procédure vaudoise applicable, il appartenait à la commune de transmettre la demande aux autorités cantonales. Cela étant, à supposer qu'on doive admettre que l'ancien propriétaire ait ainsi pu de bonne foi, une fois la réponse de la municipalité reçue, se croire au bénéfice d'une autorisation délivrée en bonne et due forme, cela ne suffit pas, en l'espèce, à renoncer à la remise en état des lieux. Comme exposé ci-dessus, la bonne foi n'est qu'un élément parmi d'autres à prendre en considération dans le cadre de la pesée des intérêts en présence.
En l'occurrence, la couverture télescopique de la piscine n'implique certes aucune nouvelle emprise sur du terrain cultivé, celle-ci étant vraisemblablement située dans le jardin d'habitation du recourant. Elle couvre toutefois une surface de 110 m2, pour une piscine de 45 m2, de sorte que l'emprise au sol de l'installation est plus que doublée. Vu sa hauteur - 2 m 80 -, son volume s'apparente à celui d'un très grand pavillon d'un niveau. Or, une construction d'un étage de 110 m2 n'est à l'évidence pas anodin en zone agricole et nettement plus important encore que la piscine préexistante. Aussi, à l'inverse de ce que soutient le recourant, on ne saurait qualifier la couverture télescopique de simple "complément" à la piscine. Il s'agit au contraire d'une construction à l'impact visuel conséquent.
La jurisprudence est constante quant à l'importance qu'elle accorde au principe de la séparation du territoire bâti et non bâti (cf. <ref-ruling> consid. 6.4 p. 40; <ref-ruling> consid. 4.2.1 p. 398; <ref-ruling> consid. 5c p. 151). Considéré comme un principe cardinal du droit de l'aménagement du territoire, son respect revêt une importance particulière. En d'autres termes, il y a lieu d'être particulièrement restrictif dans l'admission de dérogations à la règle légale. De ce point de vue, les premiers juges mettent avec raison en avant ces aspects généraux dans la pesée des intérêts, indépendamment même du cas d'espèce. Cela étant, s'y ajoutent les circonstances particulières. En l'occurrence, en dépit d'une éventuelle bonne foi du recourant - question qui peut demeurer indécise en l'espèce -, l'impact de l'aménagement litigieux est particulièrement important, ce qui renforce d'autant l'intérêt au respect du principe de la séparation du bâti et du non-bâti. Pour ce qui est de l'intérêt privé du recourant, il consiste en une utilisation accrue de sa piscine, installation d'agrément qui ne serait au demeurant certainement plus autorisée, en application du droit actuel, hors zone à bâtir. Quant à l'aspect financier de la remise en état - auquel il n'est déjà habituellement pas accordé de poids particulier (cf. notamment <ref-ruling> consid. 6b p. 225; arrêts 1C_82/2015 du 18 novembre 2015 consid. 4.2, non publié in <ref-ruling>; 1C_404/2009 du 12 mai 2010 consid. 4.3, in Pra 2011 n. 16 p. 114) - il est particulièrement faible en l'espèce, la cour cantonale relevant à juste titre qu'une telle installation pourrait être revendue. En définitive, même en tenant compte d'une éventuelle bonne foi du recourant, la cour cantonale n'a pas violé le droit fédéral en considérant que le démantèlement de la couverture télescopique de la piscine s'imposait.
3.
Le recourant conteste l'ordre de supprimer le dallage bordant la piscine. Il affirme que, contrairement à ce qu'ont retenu le SDT puis la cour cantonale, certaines photographies au dossier permettraient de constater que le dallage et la piscine forment un ensemble uniforme, les dalles litigieuses présentant le même degré d'usure que les margelles bordant la piscine. D'autres photographies montreraient que le dallage préexistait à la couverture télescopique installée en 2001. Il serait ainsi démontré que les dalles ont été posées lors de la construction de la piscine en 1983, de sorte que cet aménagement pourrait bénéficier de la garantie de la situation acquise.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 4.2 p. 234) - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Si le recourant entend se prévaloir de constatations de faits différentes de celles de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui retenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356 et les arrêts cités).
En l'espèce, les éléments que le recourant fait valoir ne sont pas de nature à juger arbitraire l'appréciation de la cour cantonale. Que le dallage ait préexisté à la couverture télescopique installée en 2001 ne signifie pas encore qu'il a été posé en 1983 lors de la construction de la piscine. Quant à l'uniformité de l'usure entre le dallage litigieux et les margelles de la piscine, il n'est pas possible de la tenir pour décisive, ni même établie, au regard des photographies du dossier. Enfin, la cour cantonale a relevé qu'il existait vraisemblablement une ligne de dallage supplémentaire entre deux des photographies (antérieures à la couverture télescopique) produites, ce qui permettait de supposer que les travaux n'avaient pas été effectués en une fois. De manière purement appellatoire, le recourant en déduit que les rangées présentes sur les deux photographies (soit la première série de dalles aménagée) auraient par conséquent été posées lors de la construction de la piscine. Or, non seulement rien ne permet de défendre cette appréciation, mais, surtout, le recourant ne conteste pas qu'une ligne de dalle aurait été ajoutée à un moment indéterminé, mais postérieurement à la construction de la piscine. Comme l'a retenu la cour cantonale, cet élément, cumulé à l'argumentation du recourant indiquant qu'il a "fait ou p[u] faire lui-même" les travaux, laisse au contraire supposer que le dallage a été apposé en plusieurs fois, donc non nécessairement dans le cadre de la construction de la piscine en 1983, cas échéant plus tard.
Dans ces circonstances, c'est sans arbitraire que la cour cantonale a constaté que le recourant avait échoué à démontrer que ce dallage était suffisamment ancien pour bénéficier de la garantie de la situation acquise, faute, notamment, de devis ou factures présentés comme moyens de preuves. En résumé, la critique du recourant est purement appellatoire, celui-ci ne faisant qu'opposer sa propre appréciation à celle des juges cantonaux. Son grief est par conséquent mal fondé.
4.
Il résulte de ce qui précède que le recours doit être rejeté, aux frais de son auteur, qui succombe.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à la Municipalité de Bonvillars, au Service du développement territorial et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 14 juin 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Sidi-Ali