Sachverhalt:
A.
A._, geboren 1962, verfügt über eine Ausbildung als Maschinenmechaniker. Zuletzt war er ab 1. August 1996 als Vorsorgeberater im Aussendienst der B._ tätig. Am 23. November 2000 meldete er sich unter Hinweis auf Gedächtnislücken, Ängste und Gleichgewichtsstörung, bestehend seit 13. September 1999, bei der Invalidenversicherung zum Leistungsbezug (Berufsberatung, Umschulung auf eine neue Tätigkeit, Arbeitsvermittlung) an. Die IV-Stelle des Kantons Luzern führte erwerbliche und medizinische Abklärungen durch. Unter anderem holte sie einen Bericht der Neurologischen Klinik am C._ (Prof. D._) vom 22. Februar 2001 ein, worin als Diagnose mit Auswirkung auf die Arbeitsfähigkeit Merkfähigkeits- und Wortfindungsstörungen seit Mitte 1999 bei Verdacht auf Morbus Alzheimer festgehalten wurde. Mit Verfügung vom 25. September 2001 sprach die IV-Stelle A._ eine ganze Rente ab 1. September 2000 zu (IV-Grad von 100 %). Diesen Anspruch bestätigte sie revisionsweise am 28. November 2005, insbesondere gestützt auf einen Bericht des Dr. med. E._, Chefarzt am Psychiatriezentrum F._, vom 28. Oktober 2005, welcher eine mittelgradige Depression sowie eine schwere dissoziative Störung mit ausgeprägten kognitiven Beeinträchtigungen (Gedächtnis und Frontalhirnfunktionen) seit September 1999 diagnostiziert hatte.
Im Rahmen eines weiteren Revisionsverfahrens führte der Regionale Ärztliche Dienst (RAD; G._, Facharzt für Psychiatrie und Psychotherapie sowie Dr. med. H._, Fachärztin für Rehabilitation und physikalische Medizin) am 27. August 2009 ein medizinisches Standortgespräch durch und riet am 12. Januar 2011 zu einer psychiatrischen und neuropsychologischen Begutachtung. In der Folge wurde A._ vom Neuropsychologen I._, (Expertise vom 17. März 2011), und von Dr. med. J._, Psychiatrie und Psychotherapie FMH, (Gutachten vom 30. Juni 2011), untersucht. Beide Gutachten erachtete der RAD für nachvollziehbar (Stellungnahmen vom 20. Juli 2011).
Mit Vorbescheid vom 17. August 2011 stellte die IV-Stelle die Aufhebung der Rente auf das Ende des der Verfügungszustellung folgenden Monats in Aussicht. Daraufhin liess A._ Einwände erheben, insbesondere in Form einer ausführlichen Stellungnahme des behandelnden Psychiaters K._, FMH Psychiatrie und Psychotherapie, vom 19. September 2011. Zu dieser äusserten sich die Vorgutachter I._ und J._ am 8. bzw. 10. November 2011. Mit erneutem Vorbescheid vom 10. Januar 2012 kündigte die IV-Stelle die Rentenaufhebung per 1. September 2000 und die Rückforderung der in den letzten fünf Jahren zu Unrecht bezogenen Leistungen an. A._ liess erneut Einwände erheben und insbesondere ein Schreiben seines ehemaligen Vorgesetzten vom 8. Februar 2012 sowie einen Anstellungsvertrag als Verantwortlicher für Umgebung und Tierpflege im Betagtenzentrum L._, vom 10. Mai 2011, einreichen. Am 16. März 2012 verfügte die IV-Stelle entsprechend ihrem zweiten Vorbescheid.
B.
Hiegegen liess A._ Beschwerde erheben. Mit Beweisentscheid vom 24. Januar 2013 veranlasste das Verwaltungsgericht des Kantons Luzern (heute: Kantonsgericht Luzern) eine psychiatrische Begutachtung bei Dr. med. M._, Facharzt FMH Psychiatrie und Psychotherapie, die am 12. Juni 2013 erging. Dieser kam zum Schluss, A._ leide an einer kombinierten (ängstlich-vermeidenden, perfektionistisch-zwanghaften, narzisstischen) Persönlichkeitsstörung mit dissoziativ-neurotischer Neigung und Somatisierungstendenz (ICD-10 F61.0) sowie an einer Dysthymie (ICD-10 F34). Nachdem die Parteien zum Gutachten M._ Stellung genommen und sich zur voraussichtlichen Prüfung der Angelegenheit nach lit. a Abs. 1 der Schlussbestimmungen der Änderung des IVG vom 18. März 2011 (6. IV-Revision [erstes Massnahmenpaket]; im Folgenden: lit. a Abs. 1 SchlB IVG) geäussert hatten, hob das kantonale Gericht mit Entscheid vom 7. November 2013 in teilweiser Gutheissung der Beschwerde die Verfügung vom 16. März 2012 insoweit auf, als darin die rückwirkende Rentenaufhebung per 1. September 2000 und die Rückforderung der während der letzten fünf Jahre bezogenen Rentenleistungen verfügt worden war. Das kantonale Gericht entschied, die Rente sei ab 1. Mai 2012 einzustellen und wies die Sache zur Prüfung von Wiedereingliederungsmassnahmen gemäss lit. a Abs. 1 SchlB IVG an die IV-Stelle zurück. Im Übrigen wies es die Beschwerde ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die Aufhebung des angefochtenen Entscheids beantragen, soweit sein Rentenanspruch ab 1. Mai 2012 aberkannt werde. Es sei ihm weiterhin eine ganze Rente zuzusprechen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen, damit sie nach weiteren Abklärungen erneut über den Rentenanspruch entscheide. Gleichzeitig lässt er einen Artikel aus dem Deutschen Ärzteblatt 2004 sowie eine undatierte Stellungnahme des med. pract. N._, Allgemeine Innere Medizin FMH, ins Recht legen.
Das Bundesgericht führt keinen Schriftenwechsel durch.

Erwägungen:
1.
1.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Seinem Urteil legt es den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung auf Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 i.V.m. <ref-law>). Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 9C_967/2008 vom 5. Januar 2009 E. 5.1).
1.2. Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteil 9C_431/2013 vom 12. August 2013 E. 1.2.1). Dem kantonalen Versicherungsgericht steht als Sachgericht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (vgl. <ref-ruling> E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (<ref-ruling> E. 2.1 S. 211; zum Begriff der Willkür <ref-ruling> E. 2.1 S. 18 f. mit Hinweisen). Inwiefern das kantonale Gericht sein Ermessen missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 1.3 S. 261). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.2 S. 246 mit Hinweis).
2.
Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), was in der Beschwerde näher darzulegen ist (z.B. Urteil 9C_61/2014 vom 23. Juli 2014 E. 2.3 mit Hinweisen). Abgesehen davon, dass den beiden letztinstanzlich eingereichten Aktenstücken keine neuen Erkenntnisse zu entnehmen sind (namentlich was die geltend gemachte Arbeitsunfähigkeit in der zuletzt ausgeübten Tätigkeit betrifft), fehlt eine nachvollziehbare Begründung dafür, weshalb deren Einreichung erst durch das Verfahren bei der Vorinstanz veranlasst worden wäre. Sie sind daher nicht zu berücksichtigen.
3.
Streitig und zu prüfen ist, ob die vorinstanzliche Rentenaufhebung per 1. Mai 2012 rechtmässig erfolgte.
3.1. Die Vorinstanz setzte sich ausführlich mit den verschiedenen Rückkommenstiteln auseinander. Sie erwog, das Gerichtsgutachten des Dr. med. M._ vom 12. Juni 2013 sei grundsätzlich beweiskräftig. Dass Gutachter Dr. med. M._ die Beurteilung der IV-Stelle, wonach auf die Einschätzung des Dr. med. E._ vom 28. Oktober 2005 abzustellen sei, für nicht nachvollziehbar erachtet habe, lasse allein aber nicht auf eine offensichtliche Unrichtigkeit der Verfügung vom 28. November 2005 schliessen. Diese sei im Ergebnis vertretbar, weshalb eine Wiedererwägung (<ref-law>) ausser Betracht falle. Gleiches gelte für eine prozessuale Revision (<ref-law>), für welche eine möglicherweise unrichtige Würdigung einer bekannten Tatsache durch die Verwaltung nicht ausreiche. Die revisionsweise Aufhebung gestützt auf <ref-law> komme mangels wesentlicher Veränderung des Gesundheitszustandes ebenfalls nicht in Frage. Damit entfalle auch eine Meldepflichtverletzung des Versicherten und eine entsprechende Rückforderung bereits ausgerichteter Rentenleistungen.
Allerdings unterliege die dem Beschwerdeführer seit 2000 massgeblich wegen kognitiver Einschränkungen zugesprochene Rente der Überprüfung nach lit. a Abs. 1 SchlB IVG, zumal Konversions- bzw. dissoziative Störungen (ICD-10 F 44) zu den unklaren Beschwerdebildern gehörten. Im Folgenden prüfte und bejahte die Vorinstanz die Überwindbarkeitskriterien. Schliesslich sprach das kantonale Gericht dem Gutachten M._ den Beweiswert ab, soweit darin die zuletzt ausgeübte Tätigkeit als Versicherungsmitarbeiter im Aussendienst als unzumutbar bezeichnet wurde, mit der Begründung, die Überwindbarkeit der Beschwerden schliesse einen invalidisierenden Gesundheitsschaden und damit jegliche Einschränkung der Arbeitsfähigkeit aus.
3.2. Der Beschwerdeführer rügt im Wesentlichen, der angefochtene Entscheid verletze seinen Gehörs- und Beweisführungsanspruch sowie das Willkürverbot. Sowohl der Gutachter als auch die Vorinstanz hätten die fremdanamnestischen Aussagen seiner Ehefrau und des früheren sowie des heutigen Vorgesetzten betreffend seine Persönlichkeitsveränderungen nicht gebührend berücksichtigt. Abklärungen beim früheren Psychiater K._ und beim Präsidenten des FC O._ (Herr E._) seien unterblieben und es sei ihm zu Unrecht eine Vermeidungshaltung unterstellt worden, unter Ausblendung seiner erfolgreichen Bemühungen um (Teilzeit-) Anstellung in einem Betagtenzentrum. Obwohl er die ehrenamtlichen Tätigkeiten für die FC P._ und O._ bereits nach kurzer Zeit wegen Überforderung habe aufgeben müssen und er weder Mitinhaber noch Lohnbezüger eines von seiner Ehefrau zeitweilig betriebenen Holzspielzeuggeschäfts gewesen sei, verneine das kantonale Gericht willkürlich eine relevante psychische Komorbidität und einen sozialen Rückzug. Willkürlich sei ausserdem, wenn das kantonale Gericht dem Gutachten M._ hinsichtlich der zumutbaren Willensanstrengung zur Überwindung der Beschwerden und der attestierten vollständigen Arbeitsunfähigkeit in der früheren Tätigkeit als Versicherungsagent die Schlüssigkeit abspreche, die Expertise ansonsten aber als voll beweiskräftig erachtete.
Das kantonale Gericht habe den Invaliditätsbegriff verkannt, indem es entgegen den Ausführungen des Gutachters davon ausgegangen sei, er könnte ein Einkommen in Höhe des zuletzt in der Versicherungsbranche erzielten hohen Verdienstes erreichen. Jedenfalls hätte ein Einkommensvergleich erfolgen müssen und schliesslich habe die Vorinstanz in Verletzung des Grundsatzes der freien Beweiswürdigung die von Dr. med. M._ retrospektiv verneinte Arbeitsfähigkeit übernommen.
4.
Nachdem die vom Versicherten geklagten Beschwerden zunächst auf eine psychiatrische Erkrankung zurückgeführt wurden, erfolgte die ursprüngliche Rentenzusprechung (Verfügung vom 25. September 2001) massgeblich gestützt auf die von Prof. D._ erhobene Diagnose (Merkfähigkeits- und Wortfindungsstörungen bei Verdacht auf Morbus Alzheimer) bzw. wegen der Einschränkungen durch die "gravierenden Störungen der mentalen Leistungsfähigkeit und der raschen Ermüdbarkeit" (Zusammenfassung der Fachperson Leistung vom 11. April 2001). Bereits am 9. August 2002 zweifelten die Neuropsychologen im C._ indes daran, dass der Versicherte tatsächlich an einem demenziellen Syndrom leide und warfen die Frage auf, ob eine nicht-authentische neuropsychologische Störung, am ehesten im Sinne einer Konversionsstörung (Differenzialdiagnose: Aggravation) vorliege.
Nach einer zweijährigen Verlaufsüberwachung rückte die initial erhobene Vermutung einer psychiatrischen Erkrankung wieder in den Vordergrund (Bericht des Dr. med. Q._, Allgemeine Medizin FMH, vom 23. April 2004). Am 28. Oktober 2005 hielt Dr. med. E._ fest, neuropsychologische Untersuchungen vom 8. Dezember 2004 und 20. Januar 2005 hätten eine derart niedrige kognitive Leistung (Gedächtnis- und Frontalhirnfunktionen) ergeben, dass eine Aggravations-Tendenz nicht auszuschliessen sei. Eine weitergehende Psychodiagnostik in Bezug auf die Konversionsstörung habe nicht stattgefunden. Es stelle sich die Frage, ob die verschiedenen auf Selbstangaben gestützten Fragebogen-Verfahren zu gültigen Ergebnissen kämen. Der Versicherte habe angegeben, als Quereinsteiger in der Versicherungsbranche sehr erfolgreich gewesen zu sein und gut verdient zu haben (gemäss IK-Einträgen erzielte der Beschwerdeführer zuletzt Jahreseinkommen von Fr. 133'365 [1997], Fr. 171'307 [1998] und Fr. 231'570 [1999]), aber zunehmend überfordert gewesen zu sein, als sich die ökonomischen Bedingungen geändert hätten. Erst bei der aktuellen Evaluation habe sich gezeigt, dass er damals eine schwere suizidale Krise durchgemacht habe. Diagnostisch könne die Verdachtsdiagnose aus dem Jahr 2002 bestätigt werden. Es liege eine schwere Konversionsstörung vor. Als Diagnosen mit Auswirkungen auf die Arbeitsfähigkeit gab er sodann eine mittelgradige Depression sowie eine schwere dissoziative Störung mit ausgeprägten kognitiven Beeinträchtigungen (Gedächtnis und Frontalhirn) an.
Die Fachpersonen der IV legten ihrer Revisionsverfügung vom 28. November 2005 eine schwere dissoziative Störung mit ausgeprägten kognitiven Beeinträchtigungen (Gedächtnis und Frontalhirnfunktion) sowie eine mittelgradige Depression zu Grunde, welche eine Arbeitsunfähigkeit von 80 % bewirkten (Protokolleintrag vom 25. November 2005). An der ursprünglichen Diagnose einer hirnorganischen Erkrankung wurde somit nicht mehr festgehalten und nunmehr insbesondere von einer dissoziativen Störung ausgegangen.
5.
Der Versicherte rügt zu Recht nicht, dass das kantonale Gericht die dissoziative Störung als unklares Beschwerdebild qualifiziert und die einschlägigen Überwindbarkeitskriterien geprüft hat (vgl. Urteil 8C_195/2014 vom 12. Juni 2014 E. 4.2 mit Hinweisen). Soweit Dr. med. E._ am 28. Oktober 2005 auch eine mittelgradige Depression angeführt hatte, ändert dies aus den nachfolgenden Gründen nichts an der grundsätzlichen Anwendbarkeit von lit. a Abs. 1 SchlB IVG. Zunächst beruhte jene Diagnose auf den Selbstangaben (Fragebogen) des Versicherten, deren Verlässlichkeit Dr. med. E._ selbst als fraglich erachtete. Darüber hinaus vermutete Dr. med. E._, wie bereits die Neuropsychologen im C._ am 9. August 2002, eine Aggravations-Tendenz, die sich später bestätigte und insbesondere auch vom Gerichtsgutachter M._ konstatiert wurde (vgl. E. 6.2 hienach und in <ref-ruling> nicht publ. E. 4.2.2 des Urteils 8C_33/2013 vom 13. Dezember 2013). Vor allem aber legte Dr. med. M._ mit ausführlicher Begründung - und insoweit übereinstimmend mit der Einschätzung der RAD-Ärzte im Anschluss an das medizinische Standortgesprächs vom 27. August 2009 sowie mit den Befunden des Gutachters Dr. med. J._ (Expertise vom 30. Juni 2011) - dar, weshalb die in den Akten dokumentierten Befunde nicht überwiegend wahrscheinlich auf eine depressive Symptomatik schliessen liessen (zum Beweiswert seiner Expertise vgl. nachfolgende E. 6.1). Dr. med. M._ führte aus, insgesamt dürfte es wohl wiederholt zu leichteren depressiven Phasen gekommen sein, die aber im Rahmen der Persönlichkeitsstörung zu sehen und allenfalls als Dysthymie aufgefasst werden könnten. Eine solche gilt indes nach der Rechtsprechung (Urteil 9C_98/2010 vom 28. April 2010 E. 2.2.2, in: SVR 2011 IV Nr. 17 S. 44) von hier nicht relevanten Ausnahmen abgesehen regelmässig nicht als Gesundheitsschaden im Sinne des Gesetzes.
Ob die ursprüngliche Rentenzusprache als offensichtlich unrichtig hätte bezeichnet werden müssen, namentlich mit Blick auf den unterbliebenen Einkommensvergleich und den Umstand, dass den damaligen medizinischen Berichten eine Arbeitsfähigkeit nur als Versicherungsagent, nicht aber in einer adaptierten Tätigkeit entnommen werden kann, ist nicht weiter zu thematisieren (<ref-law>). Nicht zuletzt können nur im Rahmen von lit. a SchlB IVG Wiedereingliederungsmassnahmen zugesprochen werden.
6.
Die vom Beschwerdeführer gegen die vorinstanzliche Prüfung der Überwindbarkeitskriterien erhobenen Rügen vermögen nicht durchzudringen.
6.1. Das kantonale Gericht hat dem Gutachten M._ hinsichtlich der darin enthaltenen Befunde zu Recht vollen Beweiswert zuerkannt. Zwar trifft es zu, dass die Auswirkungen unklarer Beschwerdebilder auf die Arbeits- und Erwerbsfähigkeit besonders schwierig nachzuweisen sind, weshalb fremdanamnestische Angaben für die Plausibilisierung von besonderem Stellenwert sein können (zur Publ. vorgesehenes Urteil 9C_701/2013 vom 12. Juni 2014 E. 3.3.2). Davon abgesehen, dass das Einholen fremdanamnestischer Auskünfte grundsätzlich im Ermessensspielraum des Gutachters liegt (Urteil 9C_65/2012 vom 28. Februar 2012 E. 4.3 mit Hinweisen), ist die Aussagekraft von Angaben Dritter aber geringer und jedenfalls mit besonderer Sorgfalt zu beurteilen, wenn - wie hier - eine Aggravation oder Simulation im Raum steht. Konkret hat sich Dr. med. M._ mehrfach - wenngleich teilweise erfolglos - um Stellungnahmen von Personen aus dem Umfeld des Beschwerdeführers bemüht. Die erhaltenen Angaben liess er jedenfalls ausreichend in seine Beurteilung einfliessen. Er legte nachvollziehbar begründet dar, die Symptome, namentlich die subjektiven Gedächtnisschwierigkeiten, hätten zunehmend ihre anfängliche Bewusstseinsferne verloren und seien willentlich überwindbar geworden. Dabei nahm er Bezug auf die Schilderung der Ehefrau, wonach es dem Versicherten gut gehe, wenn er frei von Druck sei (z.B. in den Ferien). Er berücksichtigte auch, dass der Beschwerdeführer im Alltag zu komplexen Handlungen fähig war (Ausübung von Leitungs- und Trainerfunktionen in Sportvereinen, Herstellung und Vertrieb von Holzspielwaren, Fahren eines gemieteten Campers auf Strassen im Ausland unter Mitnahme der Familie, Ausführung verschiedener Reparaturarbeiten im Auftrag etc.).
Betreffend die (kurzzeitig) ausgeübte Vizepräsidentschaft beim FC O._ führte die Ehefrau gegenüber Dr. med. M._ aus, ihr Mann sei unter Druck und in ein "Züüg" geraten, weil er "es" gut habe machen wollen, schliesslich sei es nicht mehr gegangen, er habe "einfach keine Nerven mehr für so etwas". Welche weiteren relevanten Erkenntnisse von einem Gespräch mit dem Präsidenten des FC O._ zu erwarten gewesen wären, ist nicht ersichtlich und wird vom Beschwerdeführer auch nicht näher dargetan. Indem Dr. med. M._ festhielt, der Versicherte reagiere weiterhin stark auf subjektiv empfundene Druck- und Belastungssituationen, denen er auszuweichen und die er zu vermeiden suche, trug er den fremdanamnestischen Angaben ausreichend Rechnung. Die Tatsache, dass der Versicherte seit Herbst 2011 eine wenig anforderungsreiche Tätigkeit als Verantwortlicher für Umgebung und Tierpflege in einem Betagtenzentrum aufgenommen hat, spricht in keiner Weise gegen die Beurteilung des Gutachters. Was die erfolglose Kontaktaufnahme mit dem Psychiater K._ betrifft, ist bereits deshalb nicht ersichtlich, welche weitergehenden Angaben von diesem hätten erhältlich sein können, weil der Versicherte seit Dezember 2012 nicht mehr in dessen Praxis behandelt wurde.
6.2. Bundesrechtskonform hat das kantonale Gericht gestützt auf die Beurteilung des Dr. med. M._, der anlässlich der Begutachtung keine depressive Symptomatik feststellen konnte, eine hinreichend erhebliche psychische Komorbidität im Verfügungszeitpunkt verneint (vgl. vorangehende E. 5). Davon abgesehen, dass eine Dysthymie, wie dargelegt, grundsätzlich keine anspruchsrelevante Beeinträchtigung ist, bejahte Dr. med. M._ die Frage nach einer Aggravation oder Simulation eindeutig und erklärte, die ursprünglich (im September 1999) bewusstseinsferne dissoziative Symptomatik sei im weiteren Verlauf zurückgetreten. Etwa seit April 2001 sei diese bewusstseinsnaher und damit willentlich überwindbar geworden. Die leichten dissoziativneurotischen Symptome (Gedächtnisschwierigkeiten) würden aggraviert und "wohl gelegentlich auch simuliert". Auch dies schliesst eine relevante Gesundheitsschädigung aus (in <ref-ruling> nicht publ. E. 4.2.2 des Urteils 8C_33/2013 vom 13. Dezember 2013).
6.3. Mit Bezug auf die vorinstanzlich bejahten übrigen Überwindbarkeitskriterien rügt der Beschwerdeführer zu Unrecht eine willkürliche Beweiswürdigung insbesondere hinsichtlich des vom kantonalen Gericht verneinten sozialen Rückzugs. Einen solchen hat die Vorinstanz unter Berücksichtigung der dargestellten vielfältigen Alltagsaktivitäten des Versicherten (vorangehende E. 6.1), welcher sich darüber hinaus nach eigenen Angaben täglich um seine grosse Familie (mit vier Kindern) und das Haus kümmert (e), zu Recht verneint. Daran vermag das Schreiben des ehemaligen Vorgesetzten, welcher den Beschwerdeführer nach eigenen Angaben "vielleicht einmal im Jahr" sieht, nichts zu ändern. Dass der Versicherte weder Mitinhaber noch Lohnbezüger des Spielzeuggeschäfts seiner Ehefrau gewesen war und wie lange er die Funktion als Sportchef des FC O._ ausgeübt hatte, ist nicht entscheidend. Der dem Gutachter M._ geschilderte Tagesablauf (zeitiges Aufstehen, Zeitungslektüre, Begleitung der Kinder in die Schule, Teilzeittätigkeit im Betagtenzentrum, Zubereitung des Mittagessens für die Kinder bei Abwesenheit der Ehefrau, Gartenarbeit oder Reparaturarbeiten für Drittpersonen, erneute Teilzeittätigkeit im Betagtenzentrum, gemeinsames Nachtessen, Fernsehen) und die Freizeitaktivitäten (biken oder spazieren mit der Ehefrau, Besuch von Fussballspielen des lokalen und weiteren Fussballclubs, guter Kontakt mit drei engen Kollegen) schliessen bereits für sich allein einen relevanten sozialen Rückzug klar aus. Dass die übrigen Kriterien erfüllt wären, macht der Beschwerdeführer nicht substantiiert geltend und es ergeben sich auch keine diesbezüglichen Anhaltspunkte aus den Akten.
7.
Schliesslich ist es nicht widersprüchlich oder gar willkürlich, wenn die Vorinstanz die Expertise M._ grundsätzlich als beweiskräftig erachtet, ihr aber hinsichtlich der Beurteilung der Arbeitsunfähigkeit und namentlich der zumutbaren Willensanstrengung zur Überwindung der Beschwerden die Schlüssigkeit abgesprochen hat. Die Arbeitsunfähigkeit ist ein unbestimmter Rechtsbegriff des formellen Gesetzes (<ref-law>). Der Arztperson kommt daher bei der Folgenabschätzung der von ihr erhobenen gesundheitlichen Beeinträchtigung keine abschliessende Beurteilungskompetenz zu, sondern sie nimmt hiezu Stellung, d.h. sie gibt eine (möglichst substanziell begründete) Schätzung ab. Diese ist durch die rechtsanwendenden Behörden im Rahmen der rechtlichen Vorgaben zu würdigen (vgl. zur Publ. bestimmtes Urteil 9C_850/2013 vom 12. Juni 2014 E. 3.1 und 3.2). Weil die Arbeitsfähigkeit somit keine medizinische, sondern eine rein juristische Frage ist, können sich - wie hier - Konstellationen ergeben, wo von der im medizinischen Gutachten festgestellten Arbeitsunfähigkeit abzuweichen ist, ohne dass sie ihren Beweiswert verlöre (SVR 2013 IV Nr. 9 S. 21, 8C_842/2011 E. 4.2.2; vgl. auch <ref-ruling> E. 3 S. 356).
Wenn Dr. med. M._ zwar die zuletzt ausgeübte Tätigkeit für nicht mehr zumutbar erachtete, hingegen eine die Arbeitsfähigkeit einschränkende Gesundheitsbeeinträchtigung verneinte, ist dies widersprüchlich. Dr. med. M._ liefert denn auch keine medizinisch abgestützte Begründung, weshalb die zuletzt ausgeübte Tätigkeit nicht mehr zumutbar sein soll. Die Annahme, der Beschwerdeführer habe seine Möglichkeiten überschritten und sich überfordert, ist jedenfalls kein Kriterium, das es erlauben würde, auf eine Unüberwindbarkeit der Willensanstrengung zu schliessen (vgl. z.B. Urteil 8C_372/2012 vom 13. Juni 2013 E. 3.3). Das kantonale Gericht ist somit zu Recht und unter zulässigem Verzicht auf eine Oberbegutachtung (<ref-ruling> E. 5.3 S. 236) von der diesbezüglichen Beurteilung des Gutachters abgewichen. Damit hat es beim angefochtenen Entscheid sein Bewenden, zumal bei einer vollumfänglichen Arbeitsfähigkeit in der vor der IV-Anmeldung ausgeübten Tätigkeit kein Einkommensvergleich vorzunehmen war.
8.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern, 3. Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. August 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Bollinger Hammerle