Sachverhalt:
A.
A._ führt in der Gemeinde Ballwil den Landwirtschaftsbetrieb "Rütihof", den er am 1. März 2004 von seinem Vater B._ übernommen hat. Er verfügt über mehrere Gebäude, die in der Landwirtschaftszone liegen. Bereits im Jahre 1980 wurde im ehemaligen Kalberstall (Gebäudevers.-Nr. 80e) eine Wohnung eingebaut. Später erfolgte der Einbau von zwei weiteren Wohnungen sowie die Einrichtung eines Nebenraums. Auf behördliche Aufforderung hin reichte A._ am 25. Juni 2010 ein Gesuch um nachträgliche Bewilligung der erwähnten baulichen Veränderungen ein. Der Gemeinderat Ballwil verweigerte am 28. Juni 2012 die Bewilligung und verpflichtete A._, innert zwölf Monaten nach Eintritt der Rechtskraft der Verfügung den rechtmässigen Zustand wiederherzustellen. Das Kantonsgericht Luzern wies am 1. Juli 2013 eine Beschwerde gegen diese Anordnung ab.
B.
A._ beantragt dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten, den erwähnten Entscheid des Kantonsgerichts aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Eventualiter sei festzustellen, dass der behördliche Anspruch auf Wiederherstellung des rechtmässigen Zustands bezüglich der 1980 erstellten Wohnung A (EG Ost, 31⁄2 Zimmer, 111m 2 ) imehemaligen Kalberstall verwirkt sei.
Das Kantonsgericht und sinngemäss auch die kantonale Dienststelle Raumentwicklung, Wirtschaftsförderung und Geoinformation (rawi) ersuchen um Abweisung der Beschwerde. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung ARE hat sich zur Beschwerde geäussert, ohne einen Antrag zu stellen. Die Gemeinde Ballwil hat sich nicht vernehmen lassen.
C.
Der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde am 8. Oktober 2013 die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen einen kantonal letztinstanzlichen Endentscheid öffentlich-rechtlicher Natur (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Ein Ausschlussgrund ist nicht gegeben (<ref-law>). Der Beschwerdeführer hatte im vorinstanzlichen Verfahren Parteistellung (<ref-law>). Als Baugesuchsteller, dessen nachträgliches Baugesuch abgewiesen worden ist, und als Eigentümer des von der Wiederherstellung betroffenen Grundstücks ist er durch das angefochtene Urteil besonders berührt (lit. b) und hat ein schutzwürdiges Interesse an dessen Aufhebung (lit. c). Er ist zur Beschwerdeführung legitimiert.
1.2. Der Beschwerdeführer verlangt im Hauptantrag, es sei der angefochtene Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Aus der Begründung ergibt sich, dass er mit der Rückweisung erreichen will, dass die Vorinstanz das Baugesuch bzw. die angeordnete Wiederherstellung auch hinsichtlich der Wohnungen B und C sowie des Nebenraums D prüft, da sich nach seiner Auffassung die Vorinstanz zu Unrecht nur mit der Wohnung A befasst habe. Mit Blick auf die zuletzt genannte Wohnung hält der Beschwerdeführer die Sache jedoch für spruchreif, und er stellt den Eventualantrag, es sei festzustellen, dass der Anspruch auf Wiederherstellung des rechtmässigen Zustands verwirkt sei. Nach der Rechtsprechung besteht im bundesgerichtlichen Verfahren für Feststellungsbegehren indessen nur Raum, wenn dem schutzwürdigen Interesse nicht ebenso gut mit einem rechtsgestaltenden Entscheid entsprochen werden kann (<ref-ruling> E. 2c S. 303). Diese Voraussetzung ist hier nicht erfüllt. Aus der Begründung geht jedoch hervor, dass der Beschwerdeführer anstrebt, die Wohnung A nicht in den ursprünglichen Zustand zurückbauen zu müssen. Sein Feststellungsbegehren ist deshalb als Antrag auf Aufhebung der von der Gemeinde angeordneten Wiederherstellungspflicht für die Wohnung A zu verstehen.
2.
Der Beschwerdeführer wirft der Vorinstanz zunächst eine Verletzung seines Anspruchs auf rechtliches Gehör (<ref-law>) sowie überspitzten Formalismus und Willkür und damit eine Verletzung von <ref-law> vor. Sie habe den Streitgegenstand zu Unrecht auf die Wohnung A beschränkt und dadurch die erwähnten Verfassungsverletzungen begangen.
Wenn die Vorinstanz erklärt, die Wohnungen B und C sowie der Nebenraum D bildeten nicht Gegenstand des vor ihr geführten Verfahrens, erscheint dies in der Tat unzutreffend. Denn die Anträge des Beschwerdeführers bezogen sich - gleich wie im bundesgerichtlichen Verfahren - auf alle Teile des Entscheids des Gemeinderats Ballwil vom 28. Juni 2012. Die Vorinstanz hat indessen entgegen der erwähnten irrtümlichen Erklärung sowohl die Bewilligungsfähigkeit der Wohnungen B und C sowie des Nebenraums D beurteilt als auch die Zulässigkeit des für sie angeordneten Rückbaus geprüft. So hat sie in E. 6.4 ausgeführt, dass aus den für die Wohnung A dargelegten Gründen ebenfalls die Wohnungen B und C sowie der Nebenraum D nicht nachträglich bewilligt werden könnten. Die Vorinstanz hatte auch keinen Anlass, auf diesen Punkt weiter einzugehen, nachdem der Beschwerdeführer dazu keine Rügen vorgebracht und nach der verbindlichen vorinstanzlichen Feststellung am 14. April 2012 deren widerrechtliche Erstellung anerkannt hatte. Ausserdem hat die Vorinstanz die Zulässigkeit der Wiederherstellungspflicht abgesehen von der Frage der Verwirkung, die sich nur für die Wohnung A stellt, auch für die Wohnungen B und C sowie den Nebenraum D geprüft (vgl. E. 7, 9 und 10).
Die geltend gemachten Verletzungen von Art. 9 und 29 Abs. 2 BV erweisen sich demnach als unbegründet.
3.
Die Vorinstanz bestätigt in ihrem Urteil die Verweigerung der nachträglichen Baubewilligung für die früher erstellten Wohnungen A, B und C sowie den Nebenraum D ebenso wie die Pflicht zur Wiederherstellung des ursprünglichen Zustands. Der Beschwerdeführer stellt die Bewilligungsverweigerung im bundesgerichtlichen Verfahren nicht in Frage, so dass darauf nicht weiter einzugehen ist. Ebenso wenig rügt er den angeordneten Rückbau der Wohnungen B und C sowie des Nebenraums D. Er macht vielmehr allein geltend, die Verpflichtung zum Rückbau der Wohnung A widerspreche der Eigentumsgarantie (<ref-law>) sowie der bundesgerichtlichen Rechtsprechung zur Verwirkung von behördlichen Wiederherstellungsansprüchen.
4.
Der umstrittene Rückbaubefehl stützt sich auf § 209 Abs. 2 des Planungs- und Baugesetzes des Kantons Luzern vom 7. März 1989, wonach die Gemeinde nach den Vorschriften des Verwaltungsrechtspflegegesetzes für die Wiederherstellung des gesetzmässigen Zustands zu sorgen hat. Das luzernische Recht kennt keine Vorschrift, welche die Wiederherstellungspflicht in zeitlicher Hinsicht begrenzen würde, wie dies in anderen Kantonen der Fall ist. So kann beispielsweise nach Art. 46 Abs. 3 des Baugesetzes des Kantons Bern vom 9. Juni 1985 die Wiederherstellung nach Ablauf von fünf Jahren nur noch verlangt werden, wenn zwingende öffentliche Interessen es erfordern. Das Bundesgericht geht jedoch in seiner langjährigen Praxis davon aus, dass der Befugnis des Gemeinwesens, den Abbruch eines baugesetzwidrigen Gebäudes oder Gebäudeteils zu verlangen, auch in Kantonen eine zeitliche Grenze gesetzt sein muss, deren Gesetzgebung eine Befristung nicht ausdrücklich vorsieht. Denn es wäre stossend und widerspräche in hohem Masse der Rechtssicherheit, wenn die Behörde einen Grundeigentümer beispielsweise noch nach mehr als fünfzig Jahren zur Beseitigung eines baugesetzwidrigen Zustands verpflichten könnte. Im Übrigen ist eine zuverlässige Abklärung der tatsächlichen und rechtlichen Verhältnisse, wie sie vor langer Zeit bestanden, oft kaum möglich (<ref-ruling> E. 8 S. 367 f.; <ref-ruling> E. 6.3 S. 39; <ref-ruling> E. 1a S. 123).
Die bundesgerichtliche Rechtsprechung setzt die Verwirkungsfrist grundsätzlich auf dreissig Jahre fest. Sie lässt sich dabei von der Frist leiten, die nach <ref-law> für die Extratabularersitzung gilt. So kann der Eigentümer eines Gebäudes den baugesetzwidrigen Zustand gleichsam ersitzen, wenn das Gemeinwesen während so langer Zeit nicht einschreitet. Die dreissigjährige Frist beginnt mit der Fertigstellung des baugesetzwidrigen Zustands zu laufen (BGE <ref-ruling> E. 1b S. 124). Da bei dieser Fristbestimmung Erwägungen der Rechtssicherheit im Vordergrund stehen, gilt sie grundsätzlich unabhängig von Art und Umfang der Baugesetzwidrigkeit. Das Bundesgericht hat bisher denn auch davon abgesehen, für gewisse Arten rechtswidriger Bauten kürzere oder längere Fristen festzulegen. Insbesondere besteht kein Anlass, für Bauten ausserhalb der Bauzone von der dreissigjährigen Frist abzuweichen, wie es vereinzelt vorgeschlagen wird (vgl. Christoph de Quervain, Verjähren die Ansprüche auf Wiederherstellung des rechtmässigen Zustands generell nach 30 Jahren?, Raum&Umwelt 2004 S. 51 f.). Soweit besonders wichtige öffentliche Interessen eine Wiederherstellung des rechtmässigen Zustands zwingend gebieten, kann dieser - wie sogleich zu erörtern ist - auch noch nach dreissig Jahren verlangt werden.
Die dreissigjährige Verwirkungsfrist erfährt nach der erwähnten Rechtsprechung allerdings in doppelter Hinsicht eine Einschränkung. Einerseits kann es sich aus Gründen des Vertrauensschutzes unter Umständen rechtfertigen, die Verwirkung des behördlichen Wiederherstellungsanspruchs bereits nach einer kürzeren Zeitdauer zu bejahen. So verhält es sich etwa, wenn die Behörden zwar vor Ablauf der dreissigjährigen Frist einschreiten, aber das rechtswidrige Gebäude zuvor über Jahre hinweg duldeten, obschon ihnen die Gesetzwidrigkeit bekannt war oder sie diese bei Anwendung der gebotenen Sorgfalt hätten kennen müssen. Ein Abbruchbefehl würde in diesem Fall den verfassungsrechtlich gewährleisteten Vertrauensschutz (<ref-law>) verletzen (BGE <ref-ruling> E. 6.3 S. 39; <ref-ruling> E. 1c S. 124). Anderseits ist eine Wiederherstellung auch nach dreissig Jahren noch möglich, wenn sie zum Schutz von Polizeigütern im engeren Sinn (Sicherheit und Gesundheit von Personen) erforderlich ist (BGE <ref-ruling> E. 2 S. 125 f.). Auch andere zwingende öffentliche Interessen können eine Wiederherstellung unabhängig vom Zeitablauf rechtfertigen, so erhebliche Beeinträchtigungen der Umwelt, des Ortsbildes oder der Landschaft (vgl. Aldo Zaugg/Peter Ludwig, Baugesetz des Kantons Bern vom 9. Juni 1985, Band I, 4. Aufl. 2013, Art. 46 N. 11 mit Hinweis auf die bernische Praxis).
5.
Nach den verbindlichen Feststellungen der Vorinstanz hat der Beschwerdeführer im Jahre 1980 die Wohnung A im Erdgeschoss des ehemaligen Kalberstalls eingerichtet. Zehn Jahre später baute er ebenfalls im Erdgeschoss die Wohnung B ein. Am Augenschein vom 21. Januar 2010 wurde festgestellt, dass in der Zwischenzeit im Obergeschoss die Wohnung C und der Nebenraum D eingebaut wurden. Die Behörden hatten vom illegalen Einbau der Wohnung A während dieser ganzen Zeit Kenntnis. Die Gemeinde forderte denn auch den Rechtsvorgänger des Beschwerdeführers zur Einreichung eines nachträglichen Baugesuchs auf. Dieser kam der Aufforderung am 22. September 1981 nach, doch traf der Gemeinderat in der Folge nie einen förmlichen Entscheid über das Gesuch. Im Jahre 1991 wurde der illegale Einbau der Wohnung B zwar mit einer Busse geahndet, doch erfolgten keine Anordnungen zur Wiederherstellung des rechtmässigen Zustands. Die Gemeinde verfügte eine solche erst am 28. Juni 2012, hinsichtlich der Wohnung A somit nach Ablauf der dreissigjährigen Verwirkungsfrist.
Die Vorinstanz geht davon aus, dass der Anspruch auf Wiederherstellung auch für die Wohnung A nicht verwirkt sei, da die drei Wohnungen und der Nebenraum eine bauliche Einheit bildeten. Da noch in einer Zeitspanne von weniger als dreissig Jahren der Wohnraum im ehemaligen Stall vergrössert worden sei, erscheine der Wiederherstellungsanspruch nicht verwirkt.
Die Verwirkungsfrist beginnt, wie bereits erwähnt, mit der Erstellung des Gebäudes oder Gebäudeteils zu laufen. Das Bundesgericht hat erklärt, dass bei einer vor über dreissig Jahren erstellten Waldhütte, die bis zum Ergehen des Abbruchbefehls sukzessive in ein Ferienhaus ausgebaut wurde, der Wiederherstellungsanspruch nicht verwirkt sei. Denn die vor über dreissig Jahren erstellte Waldhütte bestehe durch den laufenden Ausbau gar nicht mehr und könne nicht abgebrochen werden; für das neu entstandene Ferienhaus sei aber die Verwirkung des Abbruchanspruchs nicht eingetreten (<ref-ruling> E. 8.3 S. 368). Mit diesem Fall ist der hier zu beurteilende nicht vergleichbar. Bei den in den Kalberstall eingebauten Wohnungen und dem Nebenraum handelt es sich um voneinander abgetrennte, selbstständige Gebäudeteile. Sie wurden denn auch stets an verschiedene Personen vermietet. Es ist technisch auch ohne weiteres möglich, nur einzelne dieser Wohnungen zurückzubauen. Die vorinstanzliche Auffassung erweist sich demnach als unzutreffend.
Der angefochtene Entscheid lässt offen, ob die kleinen baulichen Veränderungen, welche die Wohnung A seit ihrer Erstellung im Jahre 1980 erfahren hat, den Lauf der Verwirkungsfrist beeinflussen können. Der Vergleich der Pläne der Baueingaben aus den Jahren 1981 und 2010, wie ihn die Gemeinde Ballwil in ihrem Entscheid vom 28. Juni 2012 unternimmt, zeigt bei der Wohnung A lediglich geringfügige Veränderungen, welche die Baurechtswidrigkeit nicht vergrössern. Entscheidend ist, dass die Grösse, die Funktion und weitgehend auch die Raumeinteilung während des Laufs der dreissigjährigen Verwirkungsfrist unverändert blieben. Entgegen der Auffassung der Gemeinde Ballwil kann deshalb nicht von Veränderungen gesprochen werden, die einem neuen Gebäudeteil gleichkämen und den neuen Beginn der Verwirkungsfrist auslösen könnten.
Schliesslich bestehen auch keine baupolizeilichen Gründe, die den Rückbau der Wohnung erforderten. Die Gemeinde Ballwil führt aus, dass die strikte Durchsetzung der Trennung von Bau- und Nichtbaugebiet die Wiederherstellung rechtfertige. Sie verhält sich dabei aber widersprüchlich. Wenn sie dem genannten Grundsatz - an sich zu Recht - einen hohen Stellenwert beimisst, hätte sie umso mehr Anlass gehabt, den Rückbau viel früher zu verfügen. Die Wohnung A befindet sich in einem grossen Stallgebäude und tritt nach aussen nicht stark in Erscheinung. Von einem zwingenden raumplanerischen Erfordernis, die Wohnung zurückzubauen, kann unter diesen Umständen keine Rede sein.
6.
Die Beschwerde erweist sich demnach als begründet, soweit sie die Anordnung zur Wiederherstellung der Wohnung A in den ursprünglichen Zustand betrifft. In diesem Umfang ist sie gutzuheissen und der angefochtene Entscheid aufzuheben. Im Übrigen ist sie abzuweisen. Zugleich ist die Sache zur Neuregelung der vorinstanzlichen Kosten- und Entschädigungsfolgen an das Kantonsgericht zurückzuweisen.
Bei diesem Verfahrensausgang sind dem Beschwerdeführer die auf die Hälfte reduzierten Gerichtskosten aufzuerlegen (<ref-law>). Die unterliegende Gemeinde Ballwil hat keine Kosten zu tragen (<ref-law>). Sie hat hingegen dem Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Kantonsgerichts Luzern vom 1. Juli 2013 aufgehoben, soweit er die Pflicht zur Wiederherstellung der Wohnung A in den ursprünglichen Zustand bestätigt. Im Übrigen wird die Beschwerde abgewiesen. Die Sache wird zur Neuregelung der vorinstanzlichen Kosten- und Entschädigungsfolgen an das Kantonsgericht Luzern zurückgewiesen.
2.
Die auf die Hälfte reduzierten Gerichtskosten betragen Fr. 2'000.-- und werden dem Beschwerdeführer auferlegt.
3.
Die Gemeinde Ballwil hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.
Dieses Urteil wird dem Beschwerdeführer, dem Gemeinderat Ballwil, dem Bau-, Umwelt- und Wirtschaftsdepartement, Dienststelle Raum und Wirtschaft, dem Kantonsgericht Luzern, 4. Abteilung, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 24. November 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner