Sachverhalt:
A.
A._ ist Partner in einer Anwaltskanzlei und Notar und war bis zur Gemeindefusion mit der Gemeinde Luzern am 1. Januar 2010 Gemeindepräsident von Littau. Ihm gehört die in der Landwirtschaftszone des Luzerner Stadtteils Littau gelegene Parzelle Nr. 2265 (Liegenschaft "Winzigen"). Diese ist mit einem im Jahr 1900 errichteten Ökonomiegebäude (Nr. 424a) überbaut. Mit Gesuch vom 2. März 2012 beantragte A._ die Bewilligung für den Umbau und die Sanierung des Gebäudes. Das Baugesuch umfasste zur Hauptsache den Einbau von zwei Pferdeboxen und den Anbau einer dritten sowie damit einhergehende Anpassungen von Raumunterteilungen, Fenstern und Türen. Des Weiteren waren der Abbruch einer Fertiggarage, eines Silos und eines an der Ostseite des Gebäudes angebauten Unterstands vorgesehen. A._ gab an, Frischprodukte (Beeren, Obst, Gemüse etc.), veredelte Frischprodukte (Most, getrocknetes Obst, Brennholz etc.) und konservierte Produkte (Konfitüre, Apfelmus, eingemachtes Obst etc.) für den Eigengebrauch zu produzieren. Er plane zudem ein "Archiv für Akten". Das Baugesuch lag vom 16. April bis zum 5. Mai 2012 öffentlich auf. Es gingen keine Einsprachen ein. Mit Entscheid vom 24. Mai 2012 erteilte die heutige Dienststelle Raum und Wirtschaft (rawi, damals Dienststelle Raumentwicklung, Wirtschaftsförderung und Geoinformation genannt) gestützt auf Art. 24d Abs. 1bis RPG (SR 700; hobbymässige Tierhaltung) in seiner bis am 30. April 2014 in Kraft stehenden Fassung die raumplanungsrechtliche Ausnahmebewilligung unter Bedingungen und Auflagen. In der Folge erteilte der Stadtrat Luzern mit Beschluss vom 20. Juni 2012 die Baubewilligung unter Bedingungen und Auflagen.
Anfangs März 2013 teilte A._ den kommunalen Behörden mit, bei den Bauarbeiten habe sich gezeigt, dass das Mauerwerk an der Ost- und der Nordfassade instabil sei. Man sei deshalb gezwungen gewesen, "Vormauerungen" zu erstellen. Weiter schrieb er, auf die Realisierung der Pferdebox 2 habe er verzichten müssen. Auf der Ostseite seien zudem zwei zusätzliche Fenster sowie eine Verkleinerung des Tors vorgesehen. Die Änderungen gegenüber den bewilligten Plänen skizzierte er auf Plankopien. Anlässlich einer Baukontrolle vom 10. Dezember 2013 prüften die Behörden die Umbauarbeiten auf ihre Übereinstimmung mit den bewilligten Plänen. Sie stellten Abweichungen mit Bezug auf die Aussenwände und das Dachgeschoss sowie eine nicht vorgesehene grossflächige Verglasung der Südfassade und umfangreiche Elektro- und Sanitärinstallationen im Innern fest. Zwei Tage später forderten sie A._ auf, sämtliche Bauarbeiten einzustellen, für die Projektänderungen ein nachträgliches Baugesuch einzureichen oder nicht bewilligte Bauteile zu entfernen. Am 20. Dezember 2013 fand vor Ort eine Besprechung mit der Bauherrschaft statt. In der Folge nahm A._ zudem schriftlich Stellung und begründete die Änderungen im Wesentlichen mit der Statik und der Isolation. Die dritte Pferdebox sei gestrichen worden, weil für die Pferde kein direkter Auslauf zu einer grösseren Freifläche ausserhalb der Scheune führe. Die beiden anderen Pferdeboxen seien noch nicht realisiert worden.
Mit nachträglichem Baugesuch vom 10. Februar 2014 ersuchte A._ den Stadtrat um Genehmigung der Änderungen gegenüber dem ursprünglichen Baugesuch. Während der öffentlichen Auflage erhob B._ Einsprache. In ihrem Amtsbericht vom 14. April 2014 teilte die Dienststelle rawi der städtischen Bauverwaltung mit, es sei nicht unüblich, dass im Rahmen eines Umbaus oder einer Renovation einzelne morsche Stützpfosten ersetzt werden müssten. Der umfassende Ersatz der nördlichen Aussenwände im Erdgeschoss und deren Verschiebung um ca. 1 m sowie die Verschiebung der östlichen Wand um ca. 60 cm gingen aber klar zu weit. Ferner sei die gesamte Dachkonstruktion ersetzt worden. Die bereits verlegten elektrischen Installationen, die zusätzlichen sanitären Installationen, die grossformatigen Fensterfronten im Erd- und Obergeschoss sowie die Unterlagsböden mit einer Stärke von ca. 15 cm seien für ein Ökonomiegebäude nicht notwendig und liessen auf eine andere Nutzung des Gebäudes schliessen. Eine Bewilligung für diese Baumassnahmen könne nicht in Aussicht gestellt werden.
Mit Entscheid vom 10. August 2015 verfügte die städtische Baudirektion Folgendes:
"1. Die öffentlich-rechtliche Einsprache von B._... wird gutgeheissen.
2. [Erstattung einer Strafanzeige gegen A._]
3. Das Baugesuch... wird abgewiesen.
4. Der Ersatzneubau wird nicht bewilligt. Das Gebäude darf nur gemäss den im Plan, revidiert am 18. Juni 2015... gemachten Angaben, Obergeschoss als Remise und Lagerraum für Futter, Stroh, Holz und Werkzeug, Erdgeschoss als Pferdebox, Sattelkammer, Weinlager, Archiv, Containerraum und Garage, genutzt werden. Andere Nutzungen sind untersagt.
Eine entsprechende öffentlich-rechtliche Eigentumsbeschränkung ist durch die Stadtkanzlei auf Kosten des Gesuchstellers im Grundbuch... anmerken zu lassen.
5. Folgende Bauteile, die nicht der geplanten Nutzung entsprechen, sind durch den Gesuchsteller innert 90 Tagen seit Rechtskraft dieses Entscheids zu entfernen:
- Die drei Metall-Glas-Fronten im Erdgeschoss sind zu entfernen, an deren Stelle sind Wände mit Brüstungsfenstern und Türen wie bewilligt einzubauen. Die Glastür im mittleren Raum darf bestehen bleiben, muss jedoch mit einer Holz-Doppeltür aussen verdeckt werden.
- Die Sanitärinstallationen (Abwasser) für die geplante Küche sind zu entfernen.
- Die zahlreichen Steckdosen und weiteren Elektroinstallationen sind auf ein Stück pro Raum zu reduzieren.
- Die Beleuchtung im Obergeschoss ist zu demontieren, der Raum ist als Remise und Futterlager zu nutzen. Eine Nutzung als Partyraum ist nicht zulässig.
- Die Beleuchtung im Obergeschoss ist zu demontieren, der Raum ist als Remise und Futterlager zu nutzen. Eine Nutzung als Partyraum ist nicht zulässig.
... 6. Folgende Bauteile dürfen ergänzt werden, damit die tolerierte Nutzung ausgeübt werden kann:
- Der Boden ist als Industrieboden, z.B. Zementüberzug mit Epoxidanstrich, auszuführen.
- Die Wände sind ohne weitere Verputzarbeiten weiss zu streichen.
- Die Decke ist wie bestehend zu belassen oder allenfalls ein rohes Täfer anzubringen.
- Die Türen sind zu montieren; Stalltür, Abtrennung Lager zu Pausenraum.
- Eine Pferdebox kann unter der Einfahrt erstellt werden gemäss Besprechung mit rawi und Skizze vom 6. Mai 2014, mit Auslauf Richtung Nordosten.
- Zusätzlicher Lattenrost vor dem Vorplatz auf der Südseite.
Bezüglich dieser Arbeiten wird der Plan, revidiert am 18. Juni 2015... als verbindlich erklärt....
[7.-10.]"
Gleichzeitig mit diesem Entscheid eröffnete die Baudirektion den Entscheid der Dienststelle rawi vom 22. Juli 2015. Diese verneinte sowohl die Zonenkonformität des Bauvorhabens (Art. 22 RPG) als auch die Möglichkeit der Erteilung einer Ausnahmebewilligung (Art. 24 ff. RPG). Zur Begründung führte sie unter anderem aus, der Betrieb Winzigen erfordere gemäss dem Betriebsdatenblatt vom 31. Januar 2015 lediglich 0.244 Standardarbeitskräfte (SAK) und erreiche damit die Mindestgrösse von 0.25 SAK für einen Nebenerwerbsbetrieb nicht. Zwar habe der Gesuchsteller am 24. Februar 2015 einen Pachtvertrag über die Parzelle Nr. 622 in Werthenstein vorgelegt, welche 15 km vom Betrieb entfernt liege. Selbst wenn diese Fläche mitberücksichtigt werde und damit 0.25 SAK erreicht würden, sei die Baute jedenfalls überdimensioniert und damit nicht notwendig. Damit könne offenbleiben, ob es sich um einen ertragsorientierten Betrieb handle, der voraussichtlich länger bestehen könne. Eine Ausnahmebewilligung falle unter anderem deshalb ausser Betracht, weil angesichts des Ersatzes des überwiegenden Teils der Bausubstanz von einem Ersatzneubau auszugehen sei.
Dagegen erhob A._ Verwaltungsgerichtsbeschwerde. Im Rahmen des Schriftenwechsels brachte er vor, mittlerweile das hälftige Miteigentum an weiteren drei Parzellen in Emmen erworben zu haben. Zudem verfüge er nun über die Bewilligung, auf 60 Aren Reben zu pflanzen.
Mit Urteil vom 27. September 2016 wies das Kantonsgericht Luzern die Verwaltungsgerichtsbeschwerde ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 3. November 2016 beantragt A._ dem Bundesgericht, das Urteil des Kantonsgerichts aufzuheben und das Baugesuch zu bewilligen. Die Anmerkung im Grundbuch sei wie folgt zu fassen: "Das Gebäude darf unter Vorbehalt der Bewilligung einer späteren Umnutzung nur für folgende Nutzungen genutzt werden: Weinkelterung, Weinlagerung, Weindegustation, Weinpräsentation, Pferdeboxen, Sattelkammer, Archiv, Containerraum, Garage, Werkstatt Remise, Lagerraum für Futter und Stroh sowie Holz..."
Die Dienststelle rawi und die Baudirektion beantragen die Abweisung der Beschwerde. Das Kantonsgericht verzichtet auf eine Vernehmlassung und verweist stattdessen auf den angefochtenen Entscheid. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung (ARE) hält unter anderem fest, die Aktivitäten des Beschwerdeführers seien als Freizeitlandwirtschaft im Sinne von <ref-law> (SR 700.1) zu qualifizieren. Darüber hinaus fehle es an der längerfristigen Existenzfähigkeit des Betriebs gemäss <ref-law>. Es sei bereits unwahrscheinlich, dass der Beschwerdeführer die jährlich anfallenden Kosten zu decken vermöge, von der Erzielung eines namhaften Einkommens ganz zu schweigen. Auch eine Ausnahmebewilligung sei nicht möglich. Weshalb nicht der vollständige Abbruch angeordnet worden sei, sei angesichts der Tatsache, dass es sich beim Beschwerdeführer um einen praktizierenden Anwalt handle, kaum verständlich. Für weitere Zugeständnisse bestehe deshalb kein Anlass. Der Beschwerdeführer hält in seiner Stellungnahme dazu an seinen Anträgen fest.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer öffentlich-rechtlichen Angelegenheit (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Der Beschwerdeführer ist als Baugesuchsteller und Adressat der Wiederherstellungsanordnung zur Beschwerde berechtigt (<ref-law>). Auf seine Beschwerde ist einzutreten.
2.
Der Beschwerdeführer beantragt die Befragung des früheren Grundeigentümers als Zeugen. Da sich der Sachverhalt insofern in hinreichender Weise aus den Akten ergibt, ist der Antrag abzuweisen.
3.
Der Beschwerdeführer beruft sich auf verschiedene Rechtstitel, unter welchen das nachträgliche Baugesuch seiner Ansicht nach hätte bewilligt werden können. Er ist der Auffassung, ein Teil der nachträglichen Projektänderung hätten die Behörden mittels Zusicherung bewilligt und in konstruktiver Hinsicht hätten sich daraus notwendigerweise weitere Änderungen ergeben (vgl. dazu E. 4 hiernach). Weiter macht er sowohl geltend, es handle sich um einen zonenkonformen landwirtschaftlichen Nebenerwerbsbetrieb (vgl. dazu E. 5 hiernach), als auch, die Voraussetzungen für eine Ausnahmebewilligung nach Art. 24c und 24e RPG seien erfüllt (vgl. dazu E. 6 und 7 hiernach).
4.
4.1. Der Beschwerdeführer bringt vor, das Vorgehen der Behörden widerspreche dem Grundsatz von Treu und Glauben (<ref-law>). Als sich während der Bauarbeiten die schlechte Qualität der Bausubstanz gezeigt und die Bauarbeiter begonnen hätten, vor der Nord- und der Ostfassade nach aussen versetzt neue Mauern zu errichten, habe er sofort René Küenzi von der Baudirektion kontaktiert. Dieser habe ihm rund einen Monat später mit E-Mail vom 3. April 2013 mitgeteilt, er habe die Baustelle am Vortag besichtigt und die Arbeiten könnten ohne Projektänderung so ausgeführt werden. Mit dieser Bewilligung seien implizit auch Teile des Dachaufbaus genehmigt worden, der ebenfalls habe erneuert werden müssen. Ob der Zusicherung eine Absprache mit der Bewilligungsbehörde vorangegangen sei, habe er nicht wissen können. Er sei ohnehin nie direkt von der Dienststelle rawi kontaktiert worden. Im Übrigen habe ihn René Küenzi nicht über den Augenschein in Kenntnis gesetzt, obwohl er froh gewesen wäre, wenn er dazu eingeladen worden wäre. Damit sei sein Anspruch auf rechtliches Gehör verletzt worden. Zudem habe er vor der Vorinstanz auch beantragt, den Gerüstbauer und den Holzbauer zu befragen, da diese die Notwendigkeit des Ersatzes des Dachstuhls hätten bestätigen können. Indem die Vorinstanz davon abgesehen habe, sei sein Anspruch auf rechtliches Gehör ein weiteres Mal verletzt worden.
4.2. Nach <ref-law> hat jede Person Anspruch darauf, von den staatlichen Organen nach Treu und Glauben behandelt zu werden. Zur Wahrung dieses Anspruchs können falsche Auskünfte von Verwaltungsbehörden unter Umständen eine vom materiellen Recht abweichende Behandlung des Rechtsuchenden gebieten. Der damit gewährte Schutz des Vertrauens in behördliches Handeln setzt namentlich voraus, dass die Auskunft vorbehaltlos erteilt wurde, sie sich auf eine konkrete Angelegenheit bezog, die auskunftserteilende Behörde zuständig war oder der Rechtsuchende sie aus zureichenden Gründen als zuständig betrachten durfte, er die Unrichtigkeit der Auskunft nicht ohne Weiteres erkennen konnte und er im Vertrauen darauf Dispositionen traf, die nicht ohne Nachteil rückgängig gemacht werden können (<ref-ruling> E. 3.6.2 S. 193 mit Hinweisen).
4.3. Aus dem in den Akten befindlichen E-Mail-Verkehr geht hervor, dass der Beschwerdeführer am 7. März 2013 René Küenzi darüber informierte, dass gewisse Projektänderungen vorgesehen seien, wobei er ein paar mit Filzstift von Hand und nicht sehr präzise korrigierte Pläne beilegte. René Küenzi antwortete am gleichen Tag, er werde sich die Sache in der nächsten Woche ansehen und sich danach nochmals melden. Nach der Besichtigung der Baustelle, bei welcher er auch einige Fotos machte, teilte René Küenzi dem Beschwerdeführer mit E-Mail vom 3. April 2013 mit, dass seiner Meinung nach nichts dagegen spreche, die Anpassungen so auszuführen, wie es in den Planskizzen vorgesehen sei.
4.4. Eine Zusicherung der zuständigen Behörde ist im E-Mail vom 3. April 2013 nicht zu sehen. Aus dessen Wortlaut geht hervor, dass es sich dabei um die persönliche Ansicht von René Küenzi handelt. Einzuräumen ist, dass es die Auskunft an der wünschbaren Klarheit vermissen lässt, zumal aus den Umständen hervorgeht, dass der Beschwerdeführer eine verbindliche Antwort wollte. Von grösserer Bedeutung erscheint insofern, dass es sich beim Beschwerdeführer um einen in Fragen der Raumplanung erfahrenen Anwalt und Notar handelt und er nicht nur aufgrund seiner beruflichen Tätigkeit, sondern auch gestützt auf das vorangehende Baubewilligungsverfahren wissen musste, dass die Bewilligung von Bauvorhaben ausserhalb der Bauzone in die Kompetenz der kantonalen Behörden fällt (Art. 25 Abs. 2 RPG) und zudem den Einbezug einspracheberechtigter Personen erfordert (vgl. Urteil 1C_205/2015 vom 29. Oktober 2015 E. 5.4 mit Hinweisen). Zudem ist die Abweichung von der erteilten Bewilligung beträchtlich. Gemäss dem angefochtenen Entscheid wurde die eine Wand um ca. 1 m, die andere um ca. 60 cm nach aussen verschoben. Vor diesem Hintergrund stellt das E-Mail vom 3. April 2013 keine bindende Auskunft der zuständigen Behörde dar und geht die Berufung des Beschwerdeführers auf den Grundsatz von Treu und Glauben fehl.
4.5. Unbegründet ist auch die Rüge der Verletzung des rechtlichen Gehörs. René Küenzi hat dem Beschwerdeführer mitgeteilt, er würde sich die Baute in der kommenden Woche ansehen. Wenn der Beschwerdeführer tatsächlich das Bedürfnis gehabt hätte, hierbei anwesend zu sein, wie er in seiner Beschwerde beteuert, hätte er dies René Küenzi mitteilen können. Indem er dies nicht tat, verzichtete er auf seine Anwesenheit. Auch der Umstand, dass die Vorinstanz keine Zeugenbefragung zum Zustand des alten Dachs durchführte, verletzte das rechtliche Gehör des Beschwerdeführers nicht. Nach dem Ausgeführten beruft sich der Beschwerdeführer hinsichtlich der versetzten Aussenmauern zu Unrecht auf den Grundsatz von Treu und Glauben und kann damit auch das ersetzte und in seiner Form veränderte Dach nicht als "implizit bewilligt" angesehen werden.
5.
5.1. Gemäss Art. 16a Abs. 1 RPG sind Bauten und Anlagen in der Landwirtschaftszone zonenkonform, wenn sie zur landwirtschaftlichen Bewirtschaftung oder für den produzierenden Gartenbau nötig sind. Der Gehalt der Zonenkonformität wird in Art. 34-38 RPV näher umschrieben. Gemäss <ref-law> darf die Bewilligung nur erteilt werden, wenn die Baute oder Anlage für die in Frage stehende Bewirtschaftung nötig ist (lit. a), wenn der Baute oder Anlage am vorgesehenen Standort keine überwiegenden Interessen entgegenstehen (lit. b) und wenn der Betrieb voraussichtlich längerfristig bestehen kann (lit. c). Ausdrücklich hält <ref-law> fest, dass Bauten und Anlagen für die Freizeitlandwirtschaft nicht als zonenkonform gelten.
5.2. Bei der Beurteilung, ob es sich um einen Betrieb mit zonenwidriger Freizeitlandwirtschaft oder einen zonenkonformen landwirtschaftlichen Haupt- oder Nebenerwerbsbetrieb handelt, ist auf den jeweiligen Einzelfall abzustellen. Indizien für das Vorliegen eines Freizeitlandwirtschaftsbetriebs sind etwa die fehlende Gewinn- und Ertragsorientierung, das Nichterreichen einer gewissen Mindestgrösse oder der marginale Arbeitsbedarf auf dem Betrieb. Auf starre Grenzwerte wurde bewusst verzichtet. Die landwirtschaftliche Bewirtschaftung im Sinne von Art. 16a RPG unterscheidet sich von der Freizeitlandwirtschaft insbesondere durch einen dauernden, auf Wirtschaftlichkeit ausgerichteten und organisierten Einsatz von Kapital und Arbeitskraft in einem wirtschaftlich bedeutsamen Umfang (zum Ganzen: Urteil 1C_8/2010 vom 29. September 2010 E. 2.2 mit Hinweisen).
5.3. Das Kantonsgericht führt aus, massgebend seien gemäss dem kantonalen Verfahrensrecht die tatsächlichen und rechtlichen Verhältnisse im Zeitpunkt seines Urteils. Die Dienststelle rawi sei davon ausgegangen, dass der Beschwerdeführer eine Rebbaufläche von 30 Aren bewirtschafte, welche unterhalb des umstrittenen Ökonomiegebäudes liege. Daran ändere nichts, dass der Beschwerdeführer gemäss dem von ihm vorgelegten Betriebsdatenblatt vom 31. Januar 2016 eine Bewilligung der kantonalen Dienststelle Landwirtschaft und Wald (lawa) für die Anpflanzung von Reben für weitere 30 Aren besitze, denn diese würden gegenwärtig noch nicht bewirtschaftet. Zwar sei Rebbau arbeitsintensiv, eine Fläche von 30 Aren sei jedoch sehr klein. Zudem sei der 52-jährige Beschwerdeführer Partner in einer Anwalts- und Notariatskanzlei, weshalb die Zeit, die er für den Weinbau einsetzen könne, sehr knapp bemessen sei. Es sei deshalb davon auszugehen, dass er in hohem Ausmass der Hilfe Dritter bedürfe. Dafür habe er eine Entschädigung auszurichten, was die Rentabilität schmälere. Hinsichtlich der Produktion sei für 30 Aren von etwa 2'500 bis 3'000 Flaschen auszugehen, welche sich aufgrund des Qualitätslabels AOC erfahrungsgemäss zu Fr. 15.-- bis 20.-- verkaufen liessen. Dies ergebe einen Umsatz in der Grössenordnung von lediglich Fr. 50'000.--. Angesichts der beträchtlichen Kosten, insbesondere aufgrund des notwendigen Beizugs von Dritten, dürfte der erzielbare Gewinn signifikant tiefer ausfallen. All dies spreche für einen Freizeitlandwirtschaftsbetrieb, wobei unerheblich sei, dass der Betrieb "Winzigen" als landwirtschaftlicher Betrieb anerkannt worden sei und der Beschwerdeführer einen Kurs für Nebenerwerbslandwirtschaft besucht habe. Insgesamt spreche nichts dafür, dass er auf der Grundlage einer Rebbaufläche von lediglich 30 Aren ein Einkommen erzielen könne, welches im Verhältnis zu jenem, welches er als Rechtsanwalt und Notar erreiche, als eigentlicher Zuerwerb gelte. Das Ökonomiegebäude sei damit nicht zonenkonform.
5.4. Der Beschwerdeführer rügt, die Vorinstanz habe den Sachverhalt willkürlich festgestellt und seinen Anspruch auf rechtliches Gehör verletzt. Das Betriebsdatenblatt sei amtlich geprüft und verbindlich. Danach verfüge sein Betrieb für das Jahr 2016 über eine landwirtschaftliche Nutzfläche von 516 Aren, wovon 61 Aren Rebfläche und 455 Aren Wiesland seien. Bereits im vorinstanzlichen Verfahren habe er darauf hingewiesen, dass die gesamte Fläche mittlerweile mit Reben bepflanzt sei. Dabei handle es sich um Rieslingtrauben und somit um eine Spezialität. In seinem Betriebskonzept von 2013/2014 habe er auf der Grundlage von 50 Aren Rebfläche ein Reineinkommen von Fr. 40'000.-- berechnet. Die Dienststelle lawa habe die Ertragszahlen angesichts der veränderten landwirtschaftlichen Nutzflächen aktualisiert und einen Umsatz von Fr. 122'500.-- sowie ein Einkommen von Fr. 67'500.-- berechnet. Mit diesen Unterlagen habe sich das Kantonsgericht nicht auseinandergesetzt. Weiter sei falsch, einen Vergleich zu seinem Einkommen als Anwalt und Notar zu ziehen. Nach der bundesgerichtlichen Rechtsprechung sei entscheidend, dass ein namhafter Beitrag an den Existenzbedarf der Bewirtschafterfamilie erzielt werde, wovon bereits bei einem Einkommen von Fr. 20'000.-- auszugehen sei. Auch das Mindestarbeitsaufkommen für die Ausrichtung von Direktzahlungen nach der Verordnung vom 23. Oktober 2013 über die Direktzahlungen an die Landwirtschaft (Direktzahlungsverordnung, DZV; SR 910.13) werde deutlich überschritten, was gegen Freizeitlandwirtschaft spreche.
5.5. Das ARE führt aus, der überwiegende Teil des Wies- und Weidelands des Beschwerdeführers sei Pachtland. Dazu gehöre eine Parzelle von 2.81 ha in rund 15 km Entfernung. Weshalb der Beschwerdeführer dieses angeblich der "Ballenproduktion von Rossheu" dienende Wiesland gepachtet habe, sei nicht ersichtlich. Für drei Pferde reiche eine Raufutterfläche von rund 1 ha aus. Die bewilligte Rebfläche von 0.61 ha liege im Grenzbereich zwischen Hobby- und Kleinbetrieb. Die Berechnung vom 31. Januar 2016 weise 0.583 SAK aus, wobei 0.366 SAK auf den Rebbau entfielen, einschliesslich 0.183 SAK für die Kelterei. Für Letztere falle vorderhand, d.h. bis zur ersten Traubenverarbeitung, kein Aufwand an. Der Arbeits- bzw. Zeitaufwand sei freilich nicht allein ausschlaggebend. Hinsichtlich des Einkommens sei anhand gesicherter Erfahrungswerte eine Prognose zu erstellen, da bisher kein Wein produziert worden sei. Beim von der Dienststelle lawa prognostizierten Rohertrag stelle sich unweigerlich die Frage, weshalb Riesling in der Schweiz bislang eine Rarität geblieben sei, denn bei einem derart hohen Ertrag müsste die Rebsorte eine viel grössere Verbreitung gefunden haben. Unerwähnt bleibe in der Prognose auch, dass sich die Rebfläche an einem Ort befinde, wo bisher kein Weinbau betrieben worden sei. Wie gut die neu gepflanzten Reben gedeihen, welchen Ernteertrag sie abwerfen, von welcher Qualität die geernteten Trauben und der daraus gegorene Wein sein würden und ob sich genügend Käufer fänden, die bereit seien, den als Berechnungsgrundlage angenommenen Preis von Fr. 25.-- pro Flasche zu zahlen, sei völlig offen. Die Prognose fusse mit anderen Worten nicht auf gesicherten Erfahrungswerten, sondern durchwegs auf optimistischen Annahmen, die mit vielen Unsicherheiten behaftet seien. Es könne deshalb nicht darauf abgestellt werden. Die Dienststelle lawa sei in ihren Berechnungen von wiederkehrenden jährlichen Aufwendungen von Fr. 55'000.-- ausgegangen. Bei den prognostizierten 4'000 Flaschen müsste der Beschwerdeführer einen Preis von Fr. 14.-- erzielen und sämtliche Flaschen verkaufen, um nur die laufenden Kosten zu decken.
5.6. Die Dienststelle rawi bringt vor, die Analyse der Dienststelle lawa sei von Beat Felder verfasst worden. Dieser sei Berater beim Berufsbildungszentrum für Natur und Ernährung in Hohenrain. Der Beschwerdeführer habe ihn jeweils als Berater beigezogen. Es handle sich bei der Analyse deshalb um ein Parteigutachten. Dafür spreche auch, dass es vom Beschwerdeführer direkt in Auftrag gegeben und ihm später direkt von Beat Felder zugestellt worden sei, obwohl für die formelle und materielle Koordination im Baubewilligungswesen die Dienststelle rawi zuständig sei.
5.7. Vorweg ist festzuhalten, dass die Rüge der Verletzung des rechtlichen Gehörs unbegründet ist. Zwar hat sich das Kantonsgericht mit der erwähnten Analyse nicht direkt auseinandergesetzt, es hat jedoch im Einzelnen dargelegt, weshalb es die Aktivitäten des Beschwerdeführers der Freizeitlandwirtschaft zuordnet und damit klar gemacht, dass es der Meinungsäusserung des Beraters Beat Felder nicht folgen konnte. Die Erwägungen des Kantonsgerichts erlaubten dem Beschwerdeführer ohne Weiteres, den Entscheid sachgerecht anzufechten (<ref-ruling> E. 6.2 S. 274; <ref-ruling> E. 5.2 S. 236 mit Hinweisen).
5.8. Die Kritik des Beschwerdeführers ist jedoch insofern berechtigt, als das Kantonsgericht, welches nach seinen eigenen Darlegungen Noven bis zum Zeitpunkt seines Entscheids berücksichtigen musste, auf die in jenem Zeitpunkt für die Bewirtschaftung zur Verfügung stehende Fläche hätte abstellen sollen. Offenbleiben kann, ob er ebenfalls zu Recht geltend macht, dass es nicht darauf ankomme, in welchem Verhältnis das zu erwartende Einkommen aus der landwirtschaftlichen Tätigkeit zu seinem Einkommen als Notar und Anwalt stehe. Massgebend ist nach der bundesgerichtlichen Rechtsprechung insofern, dass ein namhafter Beitrag an den Existenzbedarf der Bewirtschafterfamilie geleistet wird, wobei ein Beitrag von rund einem Drittel vom ARE bei Vorhaben, die keine bedeutenden räumlichen Auswirkungen haben, als sachgerecht bezeichnet wird (Urteile 1C_8/2010 vom 29. September 2010 E. 2.3.3 und 1A.64/2006 vom 7. November 2006 E. 5.3). Im Ergebnis ist der angefochtene Entscheid aus den folgenden Erwägungen jedenfalls nicht zu beanstanden.
Grundsätzlich ist die Existenzfähigkeit aufgrund der aktuellen Betriebsstruktur zu prüfen. Beabsichtigte Erweiterungen können nur insoweit berücksichtigt werden, als sie sowie der dadurch zu erwartende zusätzliche wirtschaftliche Ertrag hinreichend gesichert erscheinen. Die längerfristige Existenzfähigkeit muss insgesamt aufgrund gesicherter Fakten und einer vertieften Prüfung der Wirtschaftlichkeit bejaht werden können (Urteil 1C_8/2010 vom 29. September 2010 E. 2.3.3). Im vorliegenden Fall wurde an der betreffenden Lage bisher kein Wein angebaut und fehlt es damit insbesondere an Erfahrungswerten in Bezug auf die vom Beschwerdeführer angepflanzte Traubensorte. Da nur auf gesicherten Erfahrungswerten beruhende Prognosen dem Entscheid zu Grunde gelegt werden können, ist unter diesen Voraussetzungen eine vorsichtige Schätzung des zu erwartenden Ertrags geboten. Der von der Vorinstanz ihrer Beurteilung zu Grunde gelegte Verkaufspreis von Fr. 15.-- bis Fr. 20.-- und der Umstand, dass sie sich insofern von der Analyse, welche Beat Felder im Namen der Dienststelle lawa für den Beschwerdeführer verfasst hatte, entfernte, ist aus diesem Grund nicht zu beanstanden.
Der Beschwerdeführer rechnet mit einer Jahresproduktion von 4'000 Flaschen Wein. Somit müsste er einen Preis von mindestens Fr. 13.75 erzielen und zudem sämtliche Flaschen verkaufen, um die jährlichen Aufwendungen von Fr. 55'000.-- zu decken. Unter diesen Umständen kann nicht gesagt werden, gesicherte Fakten liessen den Schluss zu, dass der Beschwerdeführer mit seinem Betrieb einen namhaften Beitrag an den Existenzbedarf seiner Familie erzielen wird. Dass der Betrieb einen hohen Arbeitsaufwand verursacht und der Beschwerdeführer aufgrund der berechneten SAK Anspruch auf Direktzahlungen hat (Art. 5 DZV verlangt dafür ein Mindestarbeitsaufkommen von 0,2 SAK), ist dabei nicht entscheidend. Der zeitliche Aufwand für Freizeitbeschäftigungen kann durchaus beträchtlich sein, ohne dass bereits eine berufliche Tätigkeit vorliegt. Nach der bundesgerichtlichen Rechtsprechung kann beispielsweise bei einem jährlichen Arbeitsaufwand von fast 1'200 Stunden oder gar auch bei Aufgabe der bisherigen beruflichen und vollständiger Hingabe an die landwirtschaftliche Tätigkeit Freizeitlandwirtschaft vorliegen (vgl. das bereits wiederholt zitierte Urteil 1C_8/2010 vom 29. September 2010 E. 2.3 sowie Urteil 1A.256/2005 vom 10. März 2006 E. 2.2).
Bei diesem Ergebnis kann offenbleiben, ob die Kostenrechnung des Beschwerdeführers, welche in die Analyse vom 28. April 2016 übernommen wurde, korrekt ist. Danach wird dem Betrieb Winzigen unter dem Titel Investitionen nur ein Anteil von Fr. 150'000.-- an den Kosten des Ökonomiegebäudes angerechnet. Wie sich dem vom Beschwerdeführer verfassten Dokument "Umbau- und Renovationsaufwand 2013" entnehmen lässt, war der Umbau erheblich teurer.
Zusammenfassend ist festzuhalten, dass die Vorinstanz kein Bundesrecht verletzte, wenn sie von einem Freizeitlandwirtschaftsbetrieb ausging.
6.
6.1. Der Beschwerdeführer ist der Auffassung, das nachträgliche Baugesuch könne auch gestützt auf Art. 24c RPG bewilligt werden. Diese Bestimmung sieht vor, dass bestimmungsgemäss nutzbare Bauten und Anlagen ausserhalb der Bauzonen, die nicht mehr zonenkonform sind, in ihrem Bestand grundsätzlich geschützt werden (Abs. 1). Solche Bauten und Anlagen können mit Bewilligung der zuständigen Behörde erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind (Abs. 2). Dies gilt auch für landwirtschaftliche Wohnbauten sowie angebaute Ökonomiebauten, die rechtmässig erstellt oder geändert worden sind, bevor das betreffende Grundstück Bestandteil des Nichtbaugebiets im Sinn des Bundesrechts wurde (Abs. 3). Vorliegend ist ein freistehendes Ökonomiegebäude zu beurteilen, weshalb Abs. 3 nicht anwendbar ist.
Die massgebliche Rechtsänderung, welche dazu führt, dass eine Baute oder Anlage im Sinne von Abs. 1 nicht mehr zonenkonform ist, ist in der Regel das Inkrafttreten des eidgenössischen Gewässerschutzgesetzes am 1. Juli 1972 (Urteil 1C_312/2016 vom 3. April 2017 E. 2.1 mit Hinweis).
6.2. Das Kantonsgericht hält fest, es spreche nichts dafür, dass das streitbetroffene Ökonomiegebäude jemals in einer bundesrechtskonformen Bauzone gelegen habe und zufolge einer Rechtsänderung oder einer Änderung der Grundnutzungsordnung in der Landwirtschaftszone rechtswidrig geworden sei. Art. 24c RPG sei deshalb nicht anwendbar und es sei unerheblich, wann der ehemalige landwirtschaftliche Betrieb aufgegeben worden sei. Zudem versuche der Beschwerdeführer nicht glaubhaft geltend zu machen, das Gebäude sei vor dem 1. Juli 1972 jemals legal gewerblich genutzt worden. Auch der Hinweis darauf, dass der Sohn des vormaligen Eigentümers den Westteil des Erdgeschosses auch schon als Probelokal genutzt habe, vermöge daran nichts zu ändern, dies umso weniger, als er nicht behaupte, dafür hätten die Behörden formelle Bewilligungen erteilt. Zudem sei der vormalige Eigentümer 1972 erst 29 Jahre alt gewesen und es sei nicht davon auszugehen, dass dessen Sohn das Gebäude schon damals als Probelokal benutzt habe.
6.3. Der Beschwerdeführer hält dem entgegen, es sei unbestritten, dass der vormalige Eigentümer seine landwirtschaftliche Tätigkeit im Jahr 1970 aufgegeben habe. Durch das Inkrafttreten des Gewässerschutzgesetzes am 1. Juli 1972 sei die Scheune zonenwidrig geworden, weil sie an diesem Datum bereits nicht mehr landwirtschaftlich genutzt worden sei. Entgegen der Ansicht der Vorinstanz sei dies massgebend. Er gehe davon aus, dass er nicht darüber hinaus noch beweisen müsse, dass die Scheune danach anders genutzt worden sei. Immerhin habe er vor Kantonsgericht beantragt, den vormaligen Eigentümer als Zeugen zu befragen. Dessen Bruder habe damals die Scheune als Materialzwischenlager verwendet. Das Kantonsgericht habe in willkürlicher Weise von der Beweisabnahme abgesehen (<ref-law>). Wenn es zudem ausführe, dass die Scheune vor dem 1. Juli 1972 nicht legal genutzt worden sei, so unterstelle es, dass eine blosse Nutzungsänderung bewilligungspflichtig gewesen wäre. Eine gesetzliche Grundlage dafür gebe es jedoch nicht an.
6.4. Die Dienststelle rawi hat dem Bundesgericht in ihrer Stellungnahme einen Entscheid der Dienststelle lawa vom 7. März 2006 eingereicht, der die Zulässigkeit einer vom früheren Eigentümer angestrebten Parzellierung mit dem bäuerlichen Bodenrecht betrifft. Darin und in einem für jenes Verfahren eingeholten Amtsbericht der Dienststelle rawi wird festgestellt, dass das fragliche Ökonomiegebäude bis ins Jahr 1974 landwirtschaftlich genutzt und das Land ab 1975 verpachtet wurde. Entsprechend sei auch keine formelle Umnutzungsbewilligung der zonenkonformen Ökonomiebaute zu zonenfremden Zwecken aktenkundig.
6.5. Dass die Vorinstanz es als nicht erstellt erachtete, dass die Ökonomiebaute vor dem 1. Juli 1972 rechtmässig zu nicht landwirtschaftlichen Zwecken verwendet wurde, ist insbesondere angesichts der von der Dienststelle rawi vorgelegten Dokumente nicht zu beanstanden. Der Beschwerdeführer ist zwar der Auffassung, dass diese Dokumente als unzulässige Noven aus dem Recht zu weisen seien. Dabei übersieht er, dass er mit seiner Rüge, die Vorinstanz habe den Sachverhalt unvollständig festgestellt, und seinem neuen Vorbringen, die Ökonomiebaute sei damals als Materialzwischenlager verwendet worden, selbst dazu Anlass gegeben hat. Eine offensichtlich unrichtige Sachverhaltsfeststellung liegt nicht vor (<ref-law>). Auch ist dem Kantonsgericht keine willkürliche antizipierte Beweiswürdigung vorzuwerfen (<ref-law>), weil es den vormaligen Eigentümer nicht als Zeugen befragte. Der Beschwerdeführer stellte diesen Beweisantrag einzig zur Stütze seiner Behauptung, wann der vormalige Eigentümer seinen Betrieb aufgab. Dies ging jedoch schon aus dessen schriftlicher Erklärung hervor, sodass eine zusätzliche Befragung als überflüssig erscheinen musste.
7.
7.1. Zu prüfen ist schliesslich, ob eine Bewilligung gestützt auf Art. 24e RPG hätte erteilt werden müssen. Nach Abs. 1 dieser Bestimmung werden bauliche Massnahmen bewilligt in unbewohnten Gebäuden oder Gebäudeteilen, die in ihrer Substanz erhalten sind, wenn sie Bewohnern oder Bewohnerinnen einer nahe gelegenen Wohnbaute zur hobbymässigen Tierhaltung dienen und eine tierfreundliche Haltung gewährleisten.
7.2. Das Kantonsgericht legt dar, die Dienststelle rawi habe dem Beschwerdeführer im Jahr 2012 erlaubt, in seinem Ökonomiegebäude Pferde zu halten. Von dieser Bewilligung sei er jedoch abgewichen, weshalb er sich nicht mehr darauf berufen könne. Gemäss dem jüngsten Plan vom 18. Juni 2016 sei lediglich noch eine einzelne Pferdebox samt einer grosszügigen "Sattelkammer" geplant. Aufgrund der umfangreichen Umbauten sei von einem Ersatzneubau auszugehen. Die Bausubstanz sei zum überwiegenden Teil ersetzt worden, das Gebäude in seiner Substanz somit nicht mehr erhalten, wie es das Gesetz verlange.
7.3. Der Beschwerdeführer bringt vor, das Kantonsgericht übersehe, dass nicht nur eine Pferdebox mit Sattelkammer im Innern des Gebäudes, sondern auch eine zweite Pferdebox unter der Scheuneneinfahrt projektiert sei. Soweit er von der Baubewilligung aus dem Jahr 2012 abgewichen sei, habe er dies mit dem Einverständnis der Dienststelle rawi getan. Zudem liege in Bezug auf das ganze Gebäude lediglich eine Sanierung, nicht aber ein Ersatzneubau vor. In seinem Baugesuch vom 2. April 2012 habe er mit dem Hinweis "grösstenteils bestehend" angedeutet, dass es bei Innenwänden, Decken und Böden zu Ergänzungen kommen könne. Mit Ausnahme der Vormauerungen der Nord- und Ostfassade habe er das gesamte Erdgeschoss gemäss der damaligen Baubewilligung erstellt. Da auch die Vormauerungen nachträglich bewilligt worden seien, müsse das auch für den Dachstock gelten, soweit er sich darauf abstütze.
7.4. In ihrer Substanz erhalten ist eine Baute dann, wenn die tragenden Konstruktionsteile intakt sind oder lediglich einer leichten Renovation bedürfen (Urteil 1C_207/2015 vom 9. September 2015 E. 4.1 und 5 mit Hinweisen). Diese Voraussetzung ist vorliegend schon deshalb nicht erfüllt, weil zwei Aussenwände und der gesamte Dachstock ersetzt werden mussten. Dass diese Änderungen ohne Bewilligung vorgenommen wurden und auch nicht in den Anwendungsbereich des Vertrauensschutzes fallen, wurde bereits dargelegt (E. 4 hiervor). Auf die weiteren Umgestaltungen im Innenbereich braucht unter diesen Umständen nicht im Detail eingegangen zu werden. Immerhin ist festzuhalten, dass aus dem Hinweis "grösstenteils bestehend" im Baugesuch nicht auf die Bewilligung baulicher Änderungen geschlossen werden kann.
Art. 24e RPG ist somit vorliegend ebenfalls nicht anwendbar. Die Rüge der Verletzung dieser Bestimmung ist unbegründet.
Hinsichtlich der Pferdebox unter der Scheuneneinfahrt ist ergänzend darauf hinzuweisen, dass der Wiederherstellungsbefehl der Baudirektion vorsieht, dass diese erstellt werden kann. Das hält das Kantonsgericht an anderer Stelle selbst fest. Weitere Ausführungen dazu erübrigen sich.
8.
Der Beschwerdeführer bringt weiter vor, er wolle Rinder halten, falls für die Pferdehaltung keine Bewilligung möglich sei. Er habe bei den Behörden angefragt, welche Vorkehren er in dieser Hinsicht treffen müsse, aber keine Antwort erhalten. Damit sei sein Anspruch auf rechtliches Gehör verletzt worden. Das Kantonsgericht hielt dazu fest, es lasse sich den Akten nichts entnehmen, was darauf hindeute, dass der Beschwerdeführer Rindermast ernsthaft in Erwägung ziehe. Die Dienststelle rawi habe ihren Entscheid hinreichend begründet und das rechtliche Gehör nicht verletzt. Diese Ausführungen sind nicht zu beanstanden. Da der Beschwerdeführer kein entsprechend begründetes Gesuch eingereicht hat, mussten sich die Baubewilligungsbehörden auch nicht der Möglichkeit der Rindermast auseinandersetzen.
9.
Zur Wiederherstellung des rechtmässigen Zustands macht der Beschwerdeführer geltend, es sei nicht ersichtlich, weshalb sich die Vorinstanz zu einem nicht streitigen Punkt auf rund drei Seiten auslasse. Eine Bundesrechtsverletzung macht er in dieser Hinsicht nicht geltend. Hingegen erblickt er im Umstand, dass sich das Kantonsgericht nicht mit der von ihm vorgeschlagenen Neufassung der Anmerkung im Grundbuch auseinandergesetzt habe, eine Verletzung des rechtlichen Gehörs. Diese Kritik ist unbegründet. Indem das Kantonsgericht die angeordneten Wiederherstellungsmassnahmen als verhältnismässig bezeichnete, brachte es auch zum Ausdruck, dass keine weitergehenden Nutzungen (insbesondere Degustation und Verkauf von Weinerzeugnissen) zulässig seien. Die Rüge der Verletzung des rechtlichen Gehörs ist unbegründet.
10.
Die Beschwerde ist aus den genannten Gründen abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>) und ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 1-3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird dem Beschwerdeführer, der Stadt Luzern, Stab Baudirektion, dem Bau-, Umwelt- und Wirtschaftsdepartement, Dienststelle Raum und Wirtschaft, dem Kantonsgericht Luzern, 4. Abteilung, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 5. Dezember 2017
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold