Sachverhalt: A. Der 1988 geborene A._ leidet insbesondere an den Auswirkungen eines Klinefelter-Syndroms; deswegen wurde er im Februar 2002 bei der Invalidenversicherung zum Leistungsbezug angemeldet. Die IV-Stelle Luzern sprach ihm verschiedene Leistungen wie medizinische Massnahmen und Sonderschulung zu. Im Mai 2009 wurde seine Mutter zur Beiständin ernannt. Im Rahmen beruflicher Massnahmen schloss A._ im Juli 2009 die Praktische Ausbildung (PrA) zum Automobil-Assistenten erfolgreich ab. In der Folge gewährte die IV-Stelle weitere Eingliederungsmassnahmen. Im Februar 2010 wandte sich der Hausarzt des Versicherten mit dem Hinweis auf eine massiv reduzierte Arbeitsfähigkeit und die "Notwendigkeit einer Revision" an die IV-Stelle. Diese sprach A._ eine halbe Invalidenrente ab dem 1. Januar 2010 resp. eine ganze Rente ab dem 1. März 2016 zu (Verfügungen vom 25. November und 2. Dezember 2010 resp. vom 4. Oktober 2016). Im Dezember 2017 reichte seine Beiständin die "Anmeldung: Hilflosenentschädigung AHV" ein. Nach Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 14. Dezember 2018 einen Anspruch auf Hilflosenentschädigung. B. Die dagegen erhobene Beschwerde hiess das Kantonsgericht Luzern mit Entscheid vom 19. November 2019 in dem Sinne gut, als es die Verfügung vom 14. Dezember 2018 aufhob und A._ eine Entschädigung für leichte Hilflosigkeit ab dem 1. Dezember 2016 zusprach. Im Übrigen wies es die Sache an die Verwaltung zurück, damit sie nach weiteren Abklärungen gemäss den Erwägungen über einen allfälligen Anspruch auf eine Entschädigung für mittelschwere Hilflosigkeit neu verfüge. C. A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, in Abänderung des Entscheids vom 19. November 2019 sei ihm bereits rückwirkend ab dem 1. Dezember 2012 eine Entschädigung für eine mindestens leichtgradige Hilflosigkeit zuzusprechen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung. Der Beschwerdeführer reicht eine weitere Eingabe ein.