Sachverhalt:
A.
A._ ist Eigentümer des Grundstücks Grundbuch Nr. 234 in Egolzwil (LU). Es liegt in der Landwirtschaftszone und ist mit einem Wagenschopf überbaut. Die Liegenschaft ist Bestandteil des landwirtschaftlichen Betriebs, den der Beschwerdeführer am Standort führt. Der Gemeinderat Egolzwil erteilte am 25. April 2016 die Baubewilligung für den Anbau eines Hühnerstalls beim Wagenschopf, gestützt auf einen entsprechenden Entscheid der Dienststelle Raum und Wirtschaft (rawi) des Bau-, Umwelt- und Wirtschaftsdepartements des Kantons Luzern vom 15. April 2016. Nach Feststellungen des kommunalen Bauamts wirkte der errichtete Anbau am 25. Oktober 2016 als Büro. Fotos von A._ vom 6. November 2016 im Hinblick auf die Schlussabnahme zeigten hingegen eine Nutzung des Anbaus als Hühnerstall. Bei einer Nachkontrolle des kommunalen Bauamts vom 31. März 2017 wurde der Anbau als Büro und Aufenthaltsraum und nicht als Hühnerstall genutzt. Am 8. Mai 2017 stellte A._ aufforderungsgemäss ein nachträgliches Baugesuch für die Umnutzung des Anbaus als landwirtschaftliches Betriebsbüro und Mitarbeiter-Aufenthaltsraum. Mit Entscheid vom 5. März 2019 stellte die Dienststelle rawi förmlich fest, dass der realisierte Anbau nicht zonenkonform sei und hierfür auch keine Ausnahmebewilligung nach Art. 24 ff. RPG (SR 700) erteilt werden könne. Der Gemeinderat Egolzwil verweigerte gestützt darauf am 18. März 2019 die nachträgliche Baubewilligung und verfügte den Rückbau des Anbaus unter Androhung der Ersatzvornahme bei Nichtbefolgung innerhalb einer Frist von sechs Monaten seit Rechtskraft des Entscheids.
Das Kantonsgericht Luzern wies die dagegen gerichtete Beschwerde von A._ mit Urteil vom 4. März 2020 ab.
B.
Gegen das kantonsgerichtliche Urteil erhebt A._ am 11. Mai 2020 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht. Im Wesentlichen beantragt er die Erteilung der nachträglichen Baubewilligung. Eventuell sei der rechtmässige Zustand in dem Sinne wiederherzustellen, dass die Haltung von Hühnern zu genehmigen und vom Rückbau abzusehen sei.
Der Gemeinderat ersucht um Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Dienststelle rawi und das Kantonsgericht stellen Antrag auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) beantragt in der Vernehmlassung vom 14. September 2020 ebenfalls, die Beschwerde abzuweisen.
C.
Der präsidierende Mitglied der I. öffentlich-rechtlichen Abteilung hat der Beschwerde am 3. Juni 2020 aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid im Bereich des Baurechts. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG); ein Ausschlussgrund nach <ref-law> ist nicht gegeben. Der Beschwerdeführer nahm am vorinstanzlichen Verfahren teil und ist als Baugesuchsteller nach <ref-law> zur Beschwerde legitimiert. Da auch die übrigen Sachurteilsvoraussetzungen gegeben sind, ist auf die Beschwerde einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht, unter Einschluss des Bundesverfassungsrechts, gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; <ref-ruling> E. 1.7.2 S. 106 mit Hinweisen).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2.
Der Beschwerdeführer macht zunächst geltend, die Nutzung des Anbaus an den Wagenschopf als Betriebsbüro (mit Medikamenten-Lagerung für die Schweinemast) und Aufenthaltsraum (namentlich für Nächte, in denen Tiertransporte stattfinden,) sei zonenkonform.
2.1. In der Landwirtschaftszone zonenkonform sind Bauten und Anlagen, die zur landwirtschaftlichen Bewirtschaftung nötig sind (Art. 16a Abs. 1 RPG i.V.m. Art. 34 Abs. 1 der Raumplanungsverordnung vom 28. Juni 2000 [RPV; SR 700.1]). Das trifft auch für Bauten zum Wohnen zu, soweit der Bedarf für den Betrieb des landwirtschaftlichen Gewerbes unentbehrlich ist, einschliesslich des Wohnbedarfs der abtretenden Generation (<ref-law>). Voraussetzung für die Erteilung der Bewilligung ist nach <ref-law>, dass die Baute oder Anlage für die in Frage stehende Bewirtschaftung nötig ist (lit. a), ihr am vorgesehenen Standort keine überwiegenden Interessen entgegenstehen (lit. b) und der Betrieb voraussichtlich längerfristig bestehen kann (lit. c).
Ob die Erstellung oder die Veränderung einer Ökonomiebaute in der Landwirtschaftszone notwendig ist, beurteilt sich nach objektiven Kriterien (vgl. Urteil des Bundesgerichts 1C_567/2015 vom 29. August 2016 E. 4.1 mit Hinweisen). An der betrieblichen Notwendigkeit eines Neubaus fehlt es, wenn die vorgesehene Nutzung (allenfalls nach Umbau) in einer bereits vorhandenen Baute möglich wäre (<ref-ruling> E. 3.2 S. 416 mit Hinweis). Grundsätzlich sollte das gesamte Gebäudevolumen des landwirtschaftlichen Betriebs nicht grösser sein, als es dem ausgewiesenen Bedarf entspricht (Urteile 1C_457/2017 vom 25. März 2019 E. 5, in: ZBl 121/2020 S. 154; 1C_892/2013 vom 1. April 2015 E. 3.1, in: RDAF 2015 I 453).
Auch die Frage, ob Wohnraum für landwirtschaftliche Zwecke unentbehrlich ist, beurteilt sich allein nach objektiven Kriterien. Ausschlaggebend ist eine Gesamtbetrachtung, die sich mehr an qualitativen als an quantitativen Faktoren orientiert. Eine ständige Präsenz der Bewirtschafter bzw. Arbeitnehmer vor Ort muss für die zonenkonforme Bewirtschaftung des Bodens objektiv erforderlich sein, die nächst gelegene Wohnzone muss weit entfernt liegen und die Wohngebäude dürfen nicht überdimensioniert sein (vgl. <ref-ruling> E. 3a S. 69, 307 E. 3b S. 310 f.; Urteil 1C_227/2014 vom 11. Mai 2016 E. 3.1). Zu berücksichtigen sind namentlich die Art und Grösse des Betriebs, seine topografische Lage und sein wirtschaftliches Umfeld, aber auch weitere Eigenheiten wie etwa die biologische Produktionsweise (vgl. Urteil 1C_258/2018 vom 11. Dezember 2018 E. 4.3 mit weiteren Hinweisen, in: ZBl 121/2020 S. 147).
2.2. Der Beschwerdeführer führt nach eigenen Angaben einen Schweinemast-Betrieb und betreibt Ackerbau. Der Anbau bzw. der Raum weist nach seiner Darstellung eine Grundfläche von rund 24 m2 auf. Die Vorinstanz hat den fraglichen Raum aufgrund seiner Ausgestaltung (Kücheneinrichtung mit allen Anschlüssen, Heizung, Internetanschluss) als Wohnraum eingestuft. Sie hat unter Hinweis auf Angaben der Dienststelle rawi festgehalten, die maximal anrechenbare Geschossfläche an Wohnraum für Betriebe bis drei Standardarbeitskräfte (SAK) betrage gemäss der kantonalen Bewilligungspraxis 300 m2. Der Betrieb des Beschwerdeführers verfüge vor Ort bereits über zwei Wohnhäuser mit gesamthaft vier Wohnungen. Der Beschwerdeführer bestreite nicht, dass sein Betrieb damit mehr Wohnraum aufweise, als nach dieser Praxis zulässig sei. Er stelle auch nicht in Abrede, dass mindestens eine dieser vier Wohnungen fremdvermietet sei. Zudem sei offensichtlich, dass der beschwerdeführerische Hof in unmittelbarer Nähe der Bauzone liege. Es sei deshalb nicht nachvollziehbar, dass der Beschwerdeführer für die fraglichen Nutzungen auf den Anbau angewiesen sei. Vielmehr könne dafür die fremdvermietete Wohnung verwendet oder eine Lokalität in der nahegelegenen Bauzone gesucht werden. Eine Nutzung des Anbaus als Betriebsbüro, Medikamentenlager und Aufenthaltsraum für Angestellte sei unter dem Titel von Art. 16a Abs.1 RPG nicht bewilligungsfähig.
2.3. Der Beschwerdeführer kritisiert es als nicht sachgerecht, den Anbau bzw. den darin vorhandenen Raum als Wohnbaute zu erfassen. Dieser verfüge weder über ein WC noch über eine Dusche und sei nicht für eine Wohnsitznahme geeignet. In diesem Zusammenhang habe unbeachtlich zu bleiben, ob bereits Wohnraum von mehr als 300 m2 vorhanden sei. Zudem sei es nicht verhältnismässig, eine ganze Wohnung einzig für die Einrichtung eines Betriebsbüros zu opfern, wenn die Vermietung der Wohnung ein existenzsicherndes Einkommen generiere. Das Bundesgericht habe im Urteil 1A.89/1989 vom 9. März 1990 E. 2c die Praxis der Bündner Behörden geschützt, eine zusätzliche Kammer bei einem Stall für die Milchverarbeitung, die Zubereitung und Einnahme von Mahlzeiten und für gelegentliche Übernachtungen zwecks Betreuung der Kühe zuzulassen. Dies müsse auch vorliegend wegleitend sein. Der Beschwerdeführer bekräftigt den objektiven betrieblichen Bedarf für die vorgesehenen Nutzungen des Raums. Der den Betrieb betreuende Tierarzt habe bestätigt, dass die Notwendigkeit des separaten Serviceraums beim Schweinemastbetrieb zur Sicherstellung der Tiergesundheit und ihrer Nachverfolgbarkeit ausgewiesen sei.
2.4. Die vom Beschwerdeführer beanspruchte Nutzung des Anbaus als Betriebsbüro (mit Medikamentenlagerung für die Schweinemast) und Aufenthaltsraum für Angestellte ist auf einen betrieblichen Bedarf ausgerichtet. Die entsprechenden Aktivitäten können jedoch ihrer Natur nach grundsätzlich auch in einem Wohnraum ausgeübt werden. Die vorhandenen landwirtschaftlichen Wohnbauten beim Betrieb sind bei der gebotenen Gesamtbetrachtung einzubeziehen. In dieser Hinsicht ist davon auszugehen, dass der nach der kantonalen Praxis zugelassene Umfang von 300 m2 Wohnfläche für landwirtschaftliche Betriebe der vorliegenden Grösse bundesrechtskonform ist (vgl. Urteil 1C_461/ 2016 vom 28. Februar 2017 E. 3.3.2). Weiter ist daran zu erinnern, dass der bewilligte und bestehende Wohnraum vor Ort im konkreten Fall nicht nur über dieser Schwelle liegt. Er ist auch so auf verschiedene Wohneinheiten aufgeteilt, dass eine Wohnung fremdvermietet wird. Ein Bewirtschafter hat sich bestehende, für die fragliche Nutzung geeignete Räumlichkeiten anrechnen zu lassen, bei denen er die Verfügbarkeit für den Betrieb - wie durch Verkauf, Vermietung oder landwirtschaftsfremde Nutzung - aus persönlichen Zweckmässigkeitsüberlegungen beeinträchtigt hat (vgl. Urteil 1C_58/2017 vom 18. Oktober 2018 E. 5.3.1). Der Beschwerdeführer vermag mit seinen Einwänden nicht darzutun, dass die fremdvermietete Wohnung vor Ort für die umstrittenen Nutzungen ungeeignet sein soll. Derartiges ergibt sich auch nicht konkret aus der von ihm beigebrachten tierärztlichen Bestätigung. Daher fehlt es an der betrieblichen Notwendigkeit, den Anbau für die umstrittenen Nutzungen zu verwenden, denn letztere können in einer bereits vor Ort vorhandenen Baute realisiert werden. Auf die von der Vorinstanz zusätzlich genannte Möglichkeit, einen Büro- und Aufenthaltsraum im nahegelegenen Baugebiet zu suchen, braucht nicht näher eingegangen zu werden. Aus dem erwähnten Urteil 1A.89/1989 vom 9. März 1990 kann der Beschwerdeführer nichts für sich ableiten, weil die beiden Fälle nicht miteinander vergleichbar sind. Dort stand der Anbau einer Stallkammer als Alternative zu einem weiteren freistehenden Gebäude zur Diskussion. Im vorliegenden Fall strebt der Beschwerdeführer einen separaten Büro- und Aufenthaltsraum an, obwohl er den zonenkonformen Wohnraum beim Betrieb mehr als ausgeschöpft hat. Insgesamt hält es vor Bundesrecht stand, dass die Vorinstanz eine Verwendung des Anbaus für die umstrittenen Nutzungen als nicht zonenkonform beurteilt hat.
3.
Ausserdem wehrt sich der Beschwerdeführer gegen die Verweigerung einer Ausnahmebewilligung nach Art. 24 RPG.
3.1. Gemäss Art. 24 RPG können Bewilligungen abweichend von Art. 22 Abs. 2 lit. a RPG namentlich zur Errichtung von Bauten und Anlagen ausserhalb der Bauzonen erteilt werden, wenn deren Zweck einen Standort ausserhalb der Bauzonen erfordert (lit. a) und keine überwiegenden Interessen entgegenstehen (lit. b). Zwar genügt es nach der bundesgerichtlichen Rechtsprechung, wenn gewichtige Gründe einen Standort in der Nichtbauzone gegenüber Standorten innerhalb der Bauzone als erheblich vorteilhafter erscheinen lassen (sog. relative Standortgebundenheit; <ref-ruling> E. 7.6.1 S. 253 f. mit Hinweisen). Dabei ist aber ein strenger Massstab anzulegen, um der Zersiedelung der Landschaft entgegenzuwirken (vgl. <ref-ruling> E. 4a S. 256). Die Voraussetzungen beurteilen sich nach objektiven Massstäben, und es kann weder auf die subjektiven Vorstellungen und Wünsche der Einzelnen noch auf die persönliche Zweckmässigkeit oder Bequemlichkeit ankommen (vgl. <ref-ruling> E. 3.1 S. 68 mit Hinweisen). Die Vorinstanz erwähnt <ref-ruling> und 117 Ib 379, wonach ein bodenunabhängiger Betriebsteil einer Tierhaltung in der Landwirtschaftszone zwar nicht zonenkonform, aber standortgebunden sein könne. Diese Rechtsprechung wurde durch den Erlass von Art. 16a Abs. 2 RPG abgelöst; seither sind Fälle der sog. inneren Aufstockung unter Zugrundelegung dieser Bestimmung zu beurteilen (vgl. dazu rückblickend Urteil 1C_426/2016 vom 23. August 2017 E. 5, in: ZBl 119/2018 S. 363).
3.2. Die Vorinstanz hat angenommen, der Beschwerdeführer habe sich die fremdvermietete Wohnung vor Ort als Alternative zu einer Verwendung des Anbaus für die umstrittenen Nutzungen auch unter dem Blickwinkel von Art. 24 RPG anrechnen zu lassen. Ebenso sei es für ihn zumutbar, eine entsprechende Einrichtung im nahegelegenen Baugebiet zu suchen.
3.3. Es nicht zu beanstanden, dass die Vorinstanz die restriktiven Anforderungen von Art. 16a Abs. 1 und Art. 24 RPG im konkreten Fall in paralleler Weise gehandhabt hat. Für die Bejahung der Standortgebundenheit bedarf es eines objektiven Angewiesenseins auf eine bestimmte Lage. Das ist vorliegend bereits angesichts der Möglichkeit einer Nutzung der fremdvermieteten Wohnung nicht der Fall. Allerdings beruft sich der Beschwerdeführer in diesem Zusammenhang auf das Urteil 1C_200/2012 vom 17. Dezember 2012 E. 4.2). Dort hat sich das Bundesgericht zur Standortgebundenheit nach Art. 24 RPG von Mobilfunkantennen geäussert; insoweit kommt eine Baubewilligung unter Umständen an Örtlichkeiten in der Landwirtschaftszone in Betracht, an denen sich bestehende Bauten und Anlagen befinden (vgl. dazu <ref-ruling> E. 7.6.2 S. 254 mit Hinweisen). Diese Überlegungen für Mobilfunkanlagen lassen sich nicht auf den vorliegenden Zusammenhang übertragen. Der Vorwurf einer Verletzung von Art. 24 RPG geht fehl.
4.
Der Beschwerdeführer beanstandet ferner, dass ihm eine Zweckänderung des Anbaus nach Art. 24a RPG nicht bewilligt worden ist.
4.1. Art. 24a Abs. 1 RPG erklärt die Zweckänderung einer Baute oder Anlage ausserhalb der Bauzonen als bewilligungsfähig, wenn sie keine baulichen Massnahmen im Sinne von Art. 22 RPG erfordert, wenn dadurch keine neuen Auswirkungen auf Raum, Erschliessung und Umwelt entstehen (lit. a) und die Baubewilligung nach keinem anderen Bundeserlass unzulässig ist (lit. b). Art. 24a RPG ist auf bestehende Bauten und Anlagen ausserhalb der Bauzonen anwendbar, sofern sie rechtmässig erstellt worden sind (vgl. <ref-ruling> E. 4b S. 223; Urteil 1C_619/2017 vom 29. August 2018 E. 4.1, in: ZBl 120/2019 S. 327). Soweit eine ausschliesslich für landwirtschaftliche Zwecke bewilligte Baute bereits zu Beginn (formell und materiell) rechtswidrig für landwirtschaftsfremde Zwecke genutzt wurde, handelt es sich nicht um eine rechtmässig erstellte Baute (vgl. <ref-ruling> E. 5.2.2 S. 34).
4.2. Im angefochtenen Urteil wird dargelegt, der Anbau sei als Hühnerstall bewilligt, in der Folge jedoch nicht als solcher gebaut worden. Der Beschwerdeführer erkläre nicht, weshalb Einrichtungen wie Fenster für Wohnräume, Radiatoren zur Raumerwärmung, Internetanschlüsse sowie eine Küche mit allen hierfür notwendigen Anschlüssen für die Hühnerhaltung einschlägig sein sollen. Damit könne der Anbau nicht Ausgangspunkt für eine Umnutzung ohne bauliche Massnahmen sein. Daran ändere auch der Umstand einer allfälligen Bauabnahme des Hühnerstalls nichts. Die aktenkundigen Fotos würden zeigen, dass die Hühnerhaltung nur vorgespiegelt gewesen sei, eine solche nie vorgesehen und auch künftig nicht anzunehmen sei.
4.3. Auf der Sachverhaltsebene rügt der Beschwerdeführer, es sei falsch, wenn die Vorinstanzen festgestellt hätten, dass der Anbau nie als Hühnerstall benutzt worden und auch eine künftige solche Nutzung nicht zu erwarten sei. Die Vorinstanz hat nicht übersehen, dass der Anbau im Zeitraum der Bauabnahme als Hühnerstall diente. Auf den von der Vorinstanz erwähnten Fotos vom 6. November 2016 sind im Anbau Hühner sowie Stangen, Futtertrog und Gitter für die Hühnerhaltung zu sehen. Nach den Feststellungen der Vorinstanz hatte der Raum einige Tage vorher als Büroraum gewirkt. Ein knappes halbes Jahr später, bei der Nachkontrolle vom 31. März 2017, wurde eine Nutzung als Betriebsbüro und Aufenthaltsraum festgestellt. Wie der Beschwerdeführer vor Bundesgericht darlegt, waren die Heizkörper bei der Bauabnahme mit Futtersäcken verdeckt, um eine Verunreinigung zu verhindern. Weiter äussert er sich dabei zu den Fenstern und den elektrischen Installationen. Auf die Anschlüsse für die Küche und den Einbau der Kücheneinrichtung geht er nicht substanziiert ein. Ebensowenig zeigt er auf, weshalb für die ursprünglich anbegehrte Hühnerhaltung mehr als vier Jahre später wieder ein effektiver Bedarf gegeben sein soll. Vor diesem Hintergrund ist es weder offensichtlich unrichtig noch sonstwie unhaltbar, wenn die Vorinstanz die Hühnerhaltung nur als vorgespiegelt und von Anfang an wie auch zukünftig als nicht im Anbau vorgesehen betrachtet hat.
4.4. Trotz der Bewilligung des Anbaus für ausschliesslich landwirtschaftliche Zwecke wurde bei der baulichen Realisierung eine nicht zonenkonforme Nutzung vorbereitet und letztere praktisch seit Beginn darin ausgeübt. Wie oben dargelegt, ändert der Umstand, dass die Nutzung als Büro- und Aufenthaltsraum dem landwirtschaftlichen Betrieb dient, nichts an der fehlenden Zonenkonformität (vgl. oben E. 2.4). Der Anbau erfüllt deshalb nicht die Anforderung, eine rechtmässig erstellte Baute vor der fraglichen Umnutzung gewesen zu sein. Dabei gereicht es der zuständigen Behörde nicht zum Vorwurf, wenn sie bei der Bauabnahme nicht eine Sichtbarmachung aller verdeckten Abschnitte im Innenraum forderte, aber wenige Monate später eine Nachkontrolle durchführte. Die ursprüngliche Baubewilligung vom 25. April 2016 leidet auch nicht an einem Mangel, wenn darin keine Mindestdauer für eine Nutzung als Hühnerstall enthalten ist. Der Vorinstanz ist zuzustimmen, dass die fragliche Baute nicht Ausgangspunkt für eine Umnutzung nach Art. 24a RPG bilden kann.
5.
5.1. Der umstrittene Rückbaubefehl stützt sich auf § 209 Abs. 2 des kantonalen Planungs- und Baugesetzes vom 7. März 1989 (PBG; SRL Nr. 735); danach hat die Gemeinde nach den Vorschriften des kantonalen Verwaltungsrechtspflegegesetzes vom 3. Juli 1972 (VRG; SRL Nr. 40) für die Wiederherstellung des gesetzmässigen Zustands zu sorgen. Die Vorinstanz kam zum Ergebnis, der verfügte Rückbau sei verhältnismässig; er stelle das einzig taugliche und mildeste Mittel zur Durchsetzung des gesetzmässigen Zustands dar. Eine blosse Entfernung der Installationen für die Nutzung als Betriebsbüro und Aufenthaltsraum genüge nicht, weil sich damit eine Weiternutzung zu diesen Zwecken nicht ausschliessen lasse.
5.2. Der Beschwerdeführer hält der Rückbauverpflichtung den Bestand der rechtskräftigen Baubewilligung vom 25. April 2016 entgegen. Er macht geltend, den Anbau gutgläubig gestützt auf diese Bewilligung erstellt zu haben, und beansprucht Vertrauensschutz. Für den Fall, dass ihm der gute Glaube abgesprochen würde, rügt er den angeordneten Rückbau als unverhältnismässigen Eingriff in das Eigentum. Der Anbau bilde keine gewichtige Abweichung vom Erlaubten. Er entspreche in seiner äusseren Gestalt dem bewilligten Umfang. Ausserdem könne der gesetzmässige Zustand schon mit einer Rückumwandlung in einen Hühnerstall wiederhergestellt werden. Anstelle des sofortigen kompletten Rückbaus sei ein Teilrückbau und Nutzungsverbot als Büro- und Aufenthaltsraum eine mildere und geeignete Massnahme; dies könne mit der Androhung einer Bestrafung nach <ref-law> und eines Totalrückbaus bei erneuter Widerhandlung verbunden werden.
5.3. Der kommunale Bauentscheid vom 18. März 2019 lässt sich nicht anders verstehen, als dass damit implizit auch auf die vorgenannte Baubewilligung vom 25. April 2016 zurückgekommen worden ist. Es ist davon auszugehen, dass diese Annahme in gleicher Weise der vorinstanzlichen Beurteilung zugrunde liegt. Der Beschwerdeführer legt vor Bundesgericht nicht dar, inwiefern ein solches behördliches Vorgehen gegen Verfahrensrecht verstossen soll. Zu prüfen bleibt, ob ein Widerruf jener Baubewilligung mit dem verfassungsmässigen Vertrauensschutz vereinbar ist.
Der in <ref-law> verankerte Grundsatz von Treu und Glauben verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in das Handeln staatlicher Behörden, so z.B. in behördliche Verfügungen und Auskünfte (vgl. <ref-ruling> E. 5.1.1 S. 110; <ref-ruling> E. 2.5.1 S. 72 f.). Voraussetzung für den Widerruf einer rechtskräftigen Verfügung ist, dass dem Interesse an der richtigen Anwendung des objektiven Rechts der Vorrang vor dem Interesse am Vertrauensschutz zukommt. Dabei überwiegt das Interesse des Bewilligungsempfängers in der Regel unter anderem dann, wenn er von der eingeräumten Befugnis bereits Gebrauch gemacht hat (vgl. <ref-ruling> E. 3.5 S. 296; <ref-ruling> E. 2.3 S. 71 f.). Ein Bauherr darf allerdings nicht auf eine rechtskräftige Baubewilligung vertrauen, wenn er die Behörde bei der Einreichung des Baugesuchs bezüglich der Baurechtswidrigkeit des Bauprojekts bösgläubig in die Irre führte (vgl. <ref-ruling> E. 4b S. 250 f.; <ref-ruling> E. 2 S. 394 f.; Urteil 1C_111/2016 vom 8. Dezember 2016 E. 6.1; vgl. auch Urteil 2C_960/2013 vom 28. Oktober 2014 E. 4.3.2, in: ZBl 116/2015 S. 376).
Im vorliegenden Fall ist davon auszugehen, dass der Beschwerdeführer die Hühnerhaltung im Anbau nur vorgespiegelt und eine solche weder früher noch künftig dort vorgesehen hat (vgl. oben E. 4.3). Unter diesen Umständen kann ihm weder ein guter Glaube noch ein berechtigtes Vertrauen im Hinblick auf die Beständigkeit der Baubewilligung vom 25. April 2016 für diesen Anbau zugebilligt werden. In dieser Hinsicht steht einem Zurückkommen auf jene Baubewilligung nichts entgegen. Das angefochtene Urteil ist mit dem verfassungsmässigen Grundsatz von Treu und Glauben vereinbar.
5.4. Formell rechtswidrige Bauten ausserhalb der Bauzonen, die nachträglich nicht bewilligt werden können, müssen grundsätzlich beseitigt werden (vgl. <ref-ruling> E. 6 S. 364 mit Hinweisen). Die mit der Anordnung der Beseitigung einer Baute verbundene Eigentumsbeschränkung ist jedoch nur zulässig, wenn sie auf einer gesetzlichen Grundlage beruht, im öffentlichen Interesse liegt und verhältnismässig ist (<ref-law>). Die Wiederherstellung des rechtmässigen Zustands kann unverhältnismässig sein, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt (vgl. <ref-ruling> E. 6 S. 35 mit Hinweis). Auf den Grundsatz der Verhältnismässigkeit kann sich auch ein Bauherr berufen, der nicht gutgläubig gehandelt hat. Er muss aber in Kauf nehmen, dass seine Interessen von der Behörde bei der vorzunehmenden Abwägung nicht oder nur in verringertem Masse berücksichtigt werden (vgl. <ref-ruling> E. 6.4 S. 39 f. mit Hinweis).
5.5. Die Vorgabe, dass eine landwirtschaftliche Baute an sich nur für den bewilligten, landwirtschaftlichen Zweck verwendet werden darf, gilt von Gesetzes wegen und damit ohne ausdrückliche Erwähnung in der Baubewilligung vom 25. April 2016 (vgl. dazu Urteil 1C_750/2013 vom 28. April 2014 E. 3.2). Davon hat sich der Beschwerdeführer nicht beeindrucken lassen. Objektiv wäre der Anbau - trotz einem Teilrückbau mittels Entfernung der Einrichtungen für Büro und Aufenthaltsraum - weiterhin im Wesentlichen für diese Zwecke verwendbar. Eine Beibehaltung des Anbaus wäre mit erheblichen Vollzugsschwierigkeiten verbunden (vgl. Urteil 1C_202/2012 vom 8. Januar 2014 E. 5.1.2). Da der Anbau nicht für die Hühnerhaltung benötigt wird (vgl. oben E. 4.3 und 5.3), stellt eine weitere Duldung dieser Baute eine gewichtige Abweichung vom Grundsatz der Trennung des Baugebiets vom Nichtbaugebiet dar. Daran ändert nichts, dass diese Baute flächen- und volumenmässig nicht sehr gross ist und nach Angaben des Beschwerdeführers aufgrund der Lage zwischen dem Wagenschopf und einer Strasse offenbar kein ackerfähiges Kulturland beeinträchtigt (vgl. dazu Urteil 1C_10/2019 vom 15. April 2020 E. 5.4 mit Hinweisen). Demzufolge ist nicht nur ein öffentliches Interesse für den Totalabbruch des Anbaus zu bejahen, sondern die entsprechende Anordnung ist auch geeignet und erforderlich für die Erreichung dieses öffentlichen Interesses. Hingegen würden die vom Beschwerdeführer befürworteten milderen Massnahmen nicht genügen.
Zu berücksichtigen ist weiter das Interesse des Beschwerdeführers am Werterhalt beim Anbau bzw. an der Vermeidung der Abbruchkosten. Auf die genaue Höhe der Vermögenseinbusse kommt es nicht an. Der nicht gutgläubige Beschwerdeführer muss in Kauf nehmen, dass dem öffentlichen Interesse an der Beseitigung des Anbaus erhöhtes Gewicht gegenüber seinen finanziellen Interessen beigemessen wird (vgl. oben E. 5.4).
Zusammenfassend hat die Vorinstanz das Verhältnismässigkeitsprinzip nicht verletzt, wenn sie den umstrittenen Rückbau geschützt hat.
6.
Nach dem Gesagten ist die Beschwerde abzuweisen. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>). Ausgangsgemäss ist ihm keine Parteientschädigung zuzusprechen (vgl. <ref-law>). Der Gemeinde steht trotz anwaltlicher Vertretung ebenfalls keine Parteientschädigung für das bundesgerichtliche Verfahren zu, da sie in ihrem amtlichen Wirkungskreis obsiegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird dem Beschwerdeführer, der Gemeinde Egolzwil, dem Bau-, Umwelt- und Wirtschaftsdepartement, Dienststelle Raum und Wirtschaft, dem Kantonsgericht Luzern, 4. Abteilung, und dem Bundesamt für Raumentwicklung (ARE) schriftlich mitgeteilt.
Lausanne, 26. Februar 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Kessler Coendet