(Wiederaufbau), hat sich ergeben:
A.- K._ beabsichtigt, auf dem Grundstück Nr. 524 im Weiler Pfaffwil in der Gemeinde Inwil ein Wohnhaus mit 5 1/2 Zimmern und ein Nebengebäude mit Garage, Geräteraum und einem Stall zu errichten. Die Bauparzelle liegt in der Landwirtschaftszone.
Das Raumplanungsamt des Kantons Luzern erteilte am 17. März 2000 die für das Vorhaben erforderliche Ausnahmebewilligung gemäss Art. 24 des Bundesgesetzes über die Raumplanung vom 22. Juni 1979 (RPG; SR 700) in der bis am 31. August 2000 geltenden Fassung (aRPG). Es ging davon aus, dass es sich beim vorgesehenen Neubau um eine Ersatzbaute für das frühere Wohnhaus auf der Parzelle Nr. 264 handle, das 1992 abgebrochen wurde. Der Abbruch erfolgte, weil das fragliche Land für die Erweiterung der Lehmgrube der Firma X._ benötigt wurde. Die Gemeinde Inwil bewilligte das Bauprojekt am 6. April 2000.
F._ und J._ fochten die Bewilligungen des kantonalen Raumplanungsamts und der Gemeinde Inwil mit einer Beschwerde beim Verwaltungsgericht des Kantons Luzern an. Dieses hiess ihr Rechtsmittel am 9. August 2000 gut und hob die beiden angefochtenen Bewilligungen auf. Es gelangte zum Schluss, dass das Vorhaben nicht als Wiederaufbau gemäss Art. 24 Abs. 2 aRPG angesehen und auch nach Art. 24 Abs. 1 aRPG nicht bewilligt werden könne.
B.- K._ hat gegen den Entscheid des Verwaltungsgerichts vom 9. August 2000 eine Verwaltungsgerichtsbeschwerde beim Bundesgericht erhoben. Er beantragt, es sei sein Rechtsmittel gutzuheissen und die Baubewilligung inklusive Ausnahmebewilligung für sein Vorhaben zu erteilen.
Die privaten Beschwerdegegner, das Verwaltungsgericht und das zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung ersuchen um Abweisung der Beschwerde. Die Gemeinde Inwil und das kantonale Raumplanungsamt beantragen demgegenüber die Gutheissung des Rechtsmittels. Den Parteien wurde Gelegenheit eingeräumt, zur Vernehmlassung des Bundesamts Stellung zu nehmen.

Das Bundesgericht zieht in Erwägung:
1.- Die vorliegende Beschwerde richtet sich gegen die Verweigerung einer Ausnahmebewilligung nach Art. 24 aRPG.
Gegen einen solchen Entscheid kann nach Art. 34 Abs. 1 RPG - in der alten und neuen Fassung - die Verwaltungsgerichtsbeschwerde an das Bundesgericht ergriffen werden. Die Voraussetzungen zur Erhebung dieses Rechtsmittels sind erfüllt.
Es ist daher auf die Beschwerde einzutreten.
2.- Das Urteil des Verwaltungsgerichts erging am 9. August 2000, also noch bevor am 1. September 2000 die revidierten Bestimmungen des Raumplanungsgesetzes und die neue Raumplanungsverordnung vom 28. Juni 2000 (RPV; SR 700. 1) in Kraft traten. Da die Revision auch die Regelung der Ausnahmebewilligung für Bauten ausserhalb der Bauzonen betraf, fragt sich, ob für die Beurteilung des vorliegenden Falls das alte oder das neue Recht massgeblich ist.
a) Das Raumplanungsgesetz selber enthält keine Übergangsregelung. Eine solche findet sich jedoch auf Verordnungsstufe in Art. 52 RPV. Danach werden Verfahren, die am 1. September 2000 hängig waren, nach dem neuen Recht beurteilt (Abs. 1). In diesem Zeitpunkt hängige Beschwerdeverfahren werden dagegen nach dem bisherigen Recht zu Ende geführt, sofern das neue Recht für den Gesuchsteller oder die Gesuchstellerin nicht günstiger ist (Abs. 2).
Inwieweit dem Verordnungsgeber die Befugnis zukommt, Übergangsbestimmungen aufzustellen, wenn der Gesetzgeber keine Regelung trifft, erscheint nicht völlig geklärt.
Das Bundesgericht ist in einem Entscheid davon ausgegangen, die Kompetenz der Exekutive zum Erlass einer Übergangsordnung ergebe sich schon aus ihrer Ermächtigung zur Inkraftsetzung eines Gesetzes (<ref-ruling> E. 2b S. 257). Diese Ansicht ist jedoch in der Lehre auf Kritik gestossen. So wurde geltend gemacht, dass namentlich Übergangsregelungen, die den Rechtsunterworfenen schwer belasten können, zumindest in den Grundzügen einer formellgesetzlichen Grundlage bedürften (Alfred Kölz, Intertemporales Verwaltungsrecht, in: ZSR 102/1983 II S. 156 f.).
b) Die in Art. 52 RPV vorgesehene Ordnung orientiert sich an den von der bundesgerichtlichen Rechtsprechung entwickelten intertemporalrechtlichen Grundsätzen, die beim Fehlen einer Übergangsordnung gelten. Danach ist die Rechtmässigkeit von Verwaltungsakten in der Regel nach der Rechtslage im Zeitpunkt ihres Ergehens zu beurteilen, und nachher eingetretene Rechtsänderungen sind nicht zu berücksichtigen.
Anders verhält es sich nur dort, wo zwingende Gründe für die sofortige Anwendung des neuen Rechts sprechen (<ref-ruling> E. 5e/aa S. 598 mit Hinweisen). Solche Gründe bestehen hier nicht, da mit der jüngsten Revision des Raumplanungsrechts die Bautätigkeit grundsätzlich nicht schärferen Vorschriften unterworfen werden sollte. Art. 52 Abs. 2 RPV kommt dem Gesuchsteller jedoch insofern entgegen, als das neue Recht dann für anwendbar erklärt wird, wenn es für ihn günstiger ist. Damit kann der Bauwillige sofort von den Möglichkeiten Gebrauch machen, die ihm das neue Recht einräumt, ohne zuvor bei der erstinstanzlichen Behörde ein neues Baugesuch einreichen zu müssen. Auch wenn die Rechtsprechung bei Fehlen einer intertemporalrechtlichen Regelung eine solche Berücksichtigung des milderen Rechts nicht immer zuliess (<ref-ruling> E. 2; Entscheid des Bundesgerichts vom 15. Oktober 1993 in: ZBl 95/1994 S. 81 E. 2e S. 87; demgegenüber <ref-ruling> E. 2; <ref-ruling> E. 4a; vgl. auch André Grisel, Traité de droit administratif, Bd. I, Neuchâtel 1984, S. 154), dient diese Lösung offenkundig der Verfahrensökonomie. Wie erwähnt muss der Bauwillige nicht nachträglich bei der erstinstanzlichen Behörde ein neues Gesuch einreichen, um - gemäss Art. 52 Abs. 1 RPV - eine Beurteilung nach dem neuen Recht zu erlangen. Jedenfalls stellt Art. 52 Abs. 2 RPV den Gesuchsteller nicht schlechter, als dies bei Anwendung der allgemeinen intertemporalrechtlichen Grundsätze der Fall wäre.
Unter diesen Umständen besteht kein Anlass, Art. 52 RPV die Anwendung zu versagen. Die Norm kann vielmehr - unabhängig von der Kompetenz des Verordnungsgebers zu ihrem Erlass - als Ausdruck allgemeiner intertemporalrechtlicher Erwägungen angesehen werden.
c) Der vorliegende Fall ist somit gemäss Art. 52 Abs. 2 RPV nach dem alten Recht zu beurteilen, sofern die revidierten Bestimmungen für den Beschwerdeführer nicht günstiger sind. Art. 24c Abs. 2 RPG lässt wie Art. 24 Abs. 2 aRPG den Wiederaufbau bestehender Bauten ausserhalb der Bauzonen zu, wenn er mit den wichtigen Anliegen der Raumplanung vereinbar ist, doch handelt es sich dabei jetzt um eine direkt anwendbare Norm des Bundesrechts und nicht mehr um eine blosse Ermächtigung zugunsten der Kantone, den Wiederaufbau in ihrem Recht zuzulassen. Art. 42 RPV umschreibt zudem die Voraussetzungen des Wiederaufbaus näher, orientiert sich dabei aber ganz an der bisherigen bundesgerichtlichen Praxis (vgl. dazu den Entscheid des Bundesgerichts vom 7. März 1994 in: ZBl 96/1995 S. 186 E. 3b). In den Kantonen, die den von Art. 24 Abs. 2 aRPG eröffneten Spielraum vollumfänglich ausgeschöpft hatten, wie dies für den Kanton Luzern unbestrittenermassen der Fall ist (vgl. § 181 des Planungs- und Baugesetzes vom 7. März 1989), erweist sich das neue Recht somit beim Wiederaufbau für den Gesuchsteller nicht als günstiger. Es ist im Gegenteil insofern strenger, als Art. 24c Abs. 1 RPG das Recht zum Wiederaufbau auf Bauten und Anlagen beschränkt, die nicht mehr zonenkonform, d.h. durch eine nachträgliche Änderung von Erlassen oder Plänen zonenwidrig geworden sind (Art. 41 RPV). Ob diese Voraussetzung mit Bezug auf das 1992 abgebrochene Wohnhaus erfüllt wäre, kann offen bleiben, da der Wiederaufbau jedenfalls im Rahmen des bisherigen Rechts zulässig ist.
Das Wiederaufbauprojekt des Beschwerdeführers ist somit nach dem alten Recht zu beurteilen. Dabei kann indessen die neue Vorschrift von Art. 42 RPV, die wie dargelegt den Stand der Rechtsprechung zur Zulässigkeit des Wiederaufbaus nach dem alten Recht wiedergibt, mitberücksichtigt werden.
3.- Der Beschwerdeführer wirft dem Verwaltungsgericht zunächst eine unrichtige Anwendung von Art. 24 Abs. 2 aRPG und damit zusammenhängend eine unzutreffende sowie unvollständige Sachverhaltsfeststellung vor.
a) Der Wiederaufbau einer abgebrochenen oder zerstörten Baute ausserhalb der Bauzone kommt nach der Rechtsprechung zu Art. 24 Abs. 2 aRPG nur in Betracht, wenn das alte Bauwerk im Zeitpunkt seines Untergangs noch bestimmungsgemäss nutzbar war und an seiner weiteren Nutzung ein ununterbrochenes Interesse besteht (Entscheid des Bundesgerichts vom 7. März 1994 in: ZBl 96/1995 S. 186 E. 3b; vgl. auch Art. 42 Abs. 4 RPV). Zudem muss die Ersatzbaute in der Grösse und der Nutzung die wesentlichen Züge des bisherigen Gebäudes wahren. Das bedeutet, dass eine Erweiterung gegenüber der alten Baute nur in dem Umfang zulässig ist, als die Identität erhalten bleibt und noch von einer teilweisen Änderung gesprochen werden kann (<ref-ruling> E. 3a; vgl. auch Art. 42 Abs. 1-3 RPV). Ausserdem ist die Identität des Ersatzbaus auch in örtlicher Hinsicht zu wahren. Der Standort der neuen Baute darf daher nicht erheblich von demjenigen des untergegangenen Gebäudes abweichen (vgl. auch Art. 42 Abs. 4 Satz 2 RPV). Die Rechtsprechung sieht zwar davon ab, das zulässige Mass der räumlichen Verschiebung des Ersatzbaus generell zu umschreiben, da die verlangte Wahrung der Identität von den konkreten örtlichen Gegebenheiten abhängt.
So hielt es das Bundesgericht für zulässig, den Anlegeplatz für einen Nauen am Vierwaldstättersee um 40 Meter zu verschieben, weil die alte Anlegestelle dem Neubau einer Galerie weichen musste (bereits zitierter Entscheid vom 7. März 1994 in: ZBl 96/1995 S. 186 E. 3d). In einem anderen Fall erklärte es dagegen, eine Verschiebung eines Gebäudes um 80 Meter stelle eine so weitgehende Änderung gegenüber dem früheren Zustand dar, dass sie höchstens unter besonderen Umständen bewilligt werden könne (nicht publizierter Entscheid vom 19. Dezember 1991, erwähnt im Entscheid vom 7. März 1994 in: ZBl 96/1995 S. 186 E. 3b; vgl. auch Thomas Müller, Die erleichterte Ausnahmebewilligung, Diss. Zürich 1991, S. 139).
b) Im vorliegenden Fall lehnte es das Verwaltungsgericht ab, das Bauvorhaben des Beschwerdeführers als Ersatzbaute für ein 1992 abgebrochenes Wohnhaus anzuerkennen.
Es ist zwar unbestritten, dass das untergegangene Objekt im Zeitpunkt des Abbruchs noch bestimmungsgemäss nutzbar war.
Tatsächlich erfolgte der Abbruch deshalb, weil das Land für den Lehmabbau benötigt wurde und nicht weil das Gebäude nicht mehr bewohnbar gewesen wäre. Das Verwaltungsgericht verneinte jedoch einen Anspruch des Beschwerdeführers auf einen Wiederaufbau, weil das alte Wohnhaus freiwillig abgebrochen worden sei, um einer besseren Nutzung Platz zu machen. In einem solchen Fall könne die Besitzstandsgarantie nicht beansprucht werden. Ausserdem erklärte es, der vorgesehene Neubau in 260 Meter Distanz zum früheren Standort überschreite das Mass der nach Art. 24 Abs. 2 aRPG zulässigen örtlichen Verschiebung. Der Beschwerdeführer rügt den angefochtenen Entscheid in beiden Punkten als bundesrechtswidrig.
c) Art. 24 Abs. 2 aRPG lässt den Wiederaufbau sowohl von unfreiwillig zerstörten als auch von freiwillig abgebrochenen Bauten zu (<ref-ruling> E. 3a S. 317; Alexander Ruch, Öffentlichrechtliche Anforderungen an das Bauprojekt, in: Peter Münch/Peter Karlen/Thomas Geiser [Hrsg. ], Beraten und Prozessieren in Bausachen, Basel/Genf/München 1998, Rz. 7.136). Den Kantonen stand es bis zum Inkrafttreten des neuen Rechts allerdings frei, den Wiederaufbau nur für Bauten zu gestatten, die durch höhere Gewalt zerstört wurden, und ihn bei einem freiwilligen Abbruch auszuschliessen (vgl. Müller, a.a.O., S. 136, der eine solche Einschränkung im kantonalen Recht befürwortet). Das frühere aargauische Recht, auf welches sich das Verwaltungsgericht im angefochtenen Entscheid bezieht, sah kein Recht auf Wiederaufbau vor und schöpfte insofern den von Art. 24 Abs. 2 aRPG gewährten Spielraum nicht aus (vgl. Erich Zimmerlin, Baugesetz des Kantons Aargau vom 2. Februar 1971, 2. Aufl. , Aarau 1985, N. 6 zu § 224). § 181 des luzernischen Planungs- und Baugesetzes gestattet dagegen ausdrücklich den Wiederaufbau in dem von Art. 24 Abs. 2 aRPG erlaubten Umfang. Der Beschwerdeführer rügt daher zu Recht, dass ihm ein Wiederaufbau des 1992 abgerissenen Wohnhauses nicht bereits deshalb hätte verweigert werden dürfen, weil damals der Abbruch freiwillig erfolgte.
d) Der Standort für den Ersatzbau liegt im vorliegenden Fall 260 Meter vom 1992 abgebrochenen Wohnhaus entfernt.
Eine solche Verschiebung überschreitet in der Regel den von Art. 24 Abs. 2 aRPG bzw. von Art. 24c Abs. 2 RPG in Verbindung mit Art. 42 Abs. 4 RPV gezogenen Rahmen bei weitem.
Es trifft zwar zu, dass die zulässige Distanz zwischen altem und neuem Standort nicht in abstrakter Weise zu bestimmen ist und daher je nach den konkreten Gegebenheiten etwas variieren kann. Der vom Beschwerdeführer vorgesehene Standort für die Ersatzbaute unterscheidet sich jedoch ganz erheblich von jenem des abgebrochenen Wohnhauses. Während sich letzteres in isolierter Lage etwas oberhalb des Weilers Pfaffwil befand, ist die neue Bauparzelle im zentralen Bereich dieses Weilers und damit in unmittelbarer Nachbarschaft zahlreicher weiterer Häuser gelegen. Ein engerer räumlicher Zusammenhang zwischen den beiden Standorten besteht offensichtlich nicht. Unter diesen Umständen geht dem Bauvorhaben des Beschwerdeführers die Identität mit dem abgebrochenen Wohnhaus schon wegen der stark unterschiedlichen örtlichen Einbettung ab. Art. 24 Abs. 2 aRPG bzw. Art. 24c Abs. 2 RPG erlauben nicht, bei einem Wiederaufbau in einem weiteren Umfeld den Ort der Ersatzbaute frei auszuwählen.
Steht in der näheren Umgebung kein geeigneter Ersatzstandort zur Verfügung, kommt ein Wiederaufbau nicht in Betracht (vgl.
auch den Entscheid des Verwaltungsgerichts des Kantons Bern vom 21. November 1994 in: BVR 1996 S. 58 ff. E. 5 und 6).
Der Beschwerdeführer und auch die Gemeinde Inwil betonen jedoch, dass sich das vorgesehene Bauvorhaben gut in die bestehende Häusergruppe von Pfaffwil einordne und daher raumplanerisch zweckmässiger sei als ein Ersatzbau im unüberbauten Gebiet. Diese Argumentation übersieht zunächst, dass der Beschwerdeführer nicht ohne weiteres einen Anspruch auf den Wiederaufbau des abgebrochenen Wohnhauses hat, sondern dass dafür die erwähnten gesetzlichen Voraussetzungen erfüllt sein müssen. Ausserdem steht eine Ersatzbaute am vorgesehenen Ort - auch bei relativ guter Einfügung in die bestehende Überbauung - im Widerspruch zu der von der Gemeinde geschaffenen Nutzungsplanung. Diese hat die Bauparzelle der Landwirtschaftszone und das benachbarte überbaute Land einer eng umgrenzten Weilerzone zugewiesen, in der keine Neubauten zulässig sind. Wenn die Gemeinde und das kantonale Raumplanungsamt heute die Situation anders beurteilen und eine gewisse bauliche Entwicklung in Pfaffwil als sinnvoll erachten, wären die restriktiven planerischen Festlegungen zu überprüfen und entsprechend anzupassen.
e) Aus diesen Gründen kann das Bauvorhaben des Beschwerdeführers nicht auf dem Wege einer Ausnahmebewilligung verwirklicht werden. Die entsprechenden Rügen sind daher unbegründet.
4.- Die Verweigerung der Baubewilligung verstösst nach Ansicht des Beschwerdeführers unter den gegebenen Umständen auch gegen den Grundsatz von Treu und Glauben (Art. 9 BV), da ihm sowohl das kantonale Raumplanungsamt als auch die Gemeinde zugesichert hätten, er könne das abgebrochene Wohnhaus später wiederaufbauen.
Vor Erarbeitung des Bauprojekts wurde beim kantonalen Raumplanungsamt eine Vorabklärung zur Bewilligungsfähigkeit eines Ersatzbaus auf der Parzelle Nr. 524 durchgeführt.
In diesem Zusammenhang erklärte der Gemeinderat Inwil, er unterstütze das Vorhaben. Das kantonale Raumplanungsamt teilte der Gemeinde am 24. Dezember 1998 mit, sie könne sich auf Grund der ganz speziellen Umstände mit der vorgesehenen Standortverschiebung einverstanden erklären. Diese Äusserungen stellen entgegen der Ansicht des Beschwerdeführers schon von der Formulierung her keine verbindlichen Zusicherungen dar. Vor allem aber musste dem Beschwerdeführer bewusst sein, dass das Bauvorhaben noch auszuschreiben war und ein verbindlicher Entscheid erst in Kenntnis der Interessen allenfalls betroffener Dritter erfolgen konnte (<ref-ruling> E. 2b). Von einem Verstoss gegen Treu und Glauben kann daher keine Rede sein.
5.- Die Verwaltungsgerichtsbeschwerde erweist sich demnach als unbegründet und ist daher abzuweisen.
Bei diesem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG). Die privaten Beschwerdegegner haben mangels erheblicher Aufwendungen keinen Anspruch auf eine Parteientschädigung.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3.- Den privaten Beschwerdegegnern wird keine Parteientschädigung zugesprochen.
4.- Dieses Urteil wird den Parteien, dem Gemeinderat Inwil, dem Raumplanungsamt (Baudepartement) und dem Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
_
Lausanne, 15. Februar 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: