Sachverhalt:
A. Der 1968 geborene L._ meldete sich im Oktober 2005 bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle Luzern mit Verfügung vom 8. November 2007 bei einem Invaliditätsgrad von 6 % einen Rentenanspruch.
B. Die Beschwerde des L._ wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 6. Oktober 2008 ab.
C. L._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des Entscheids vom 6. Oktober 2008 sei ihm ab November 2005 eine ganze Rente zu gewähren; eventuell sei die Sache an die Vorinstanz zurückzuweisen und diese zu verpflichten, die Arbeits- und Erwerbsunfähigkeit abzuklären.
Die IV-Stelle und das kantonale Gericht schliessen auf Abweisung der Beschwerde, das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2. 2.1 Es steht fest und ist unbestritten, dass der Beschwerdeführer an einem chronifizierten therapieresistenten radikulären Reiz- und sensiblen Ausfallsyndrom L5 links bei links paramedianer Diskushernie L4/5 sowie zusätzlicher sekundärer Spinalkanalstenose bei Spondylarthrose des Segmentes L4/5 leidet und deshalb seit Oktober 2004 in seiner bisherigen Tätigkeit als Pizzaiolo eingeschränkt ist. Streitig und zu prüfen ist der sich daraus ergebende Rentenanspruch.
2.2 Die Vorinstanz ist in Bezug auf die Beurteilung der Arbeitsfähigkeit der IV-Stelle gefolgt, welche sich auf das neurochirurgische Teilgutachten resp. das interdisziplinäre Gutachten des Instituts X._ vom 15. Juni 2007 stützte. Danach sind dem Versicherten leichte bis maximal mittelschwere Arbeiten, ausgeführt in einem frei zu wählenden Wechsel der Arbeitspositionen, zumutbar. Ausgeschlossen seien mit längerfristigem Sitzen oder Stehen (mehr als 15 Minuten), häufigen Rotationsbewegungen der Wirbelsäule, sonstigen Zwangshaltungen wie häufigem Bücken oder Vibrationen und Schlägen auf das Achsenorgan verbundene Tätigkeiten. Das Heben, Tragen und Bewegen von Lasten sei auf zehn Kilogramm limitiert. In angepasster Tätigkeit bestehe bei einem vollen Arbeitspensum keine Verminderung der Leistungsfähigkeit. Unter Beizug des Tabellenlohnes der Schweizerischen Lohnstrukturerhebung (LSE) und Berücksichtigung eines leidensbedingten Abzuges von 15 % (vgl. BGE 129 V 472 E. 4.3.2. S. 481; 126 V 75; Urteil 9C_382/2007 vom 13. November 2007 E. 6) hat das kantonale Gericht durch Einkommensvergleich (vgl. Art. 16 ATSG sowie BGE 128 V 29 E. 1 S. 30 und BGE 130 V 343) einen Invaliditätsgrad von 6 % ermittelt und folglich einen Anspruch auf eine Rente der Invalidenversicherung (vgl. Art. 28 Abs. 1 in der bis 31. Dezember 2007 in Kraft gestandenen Fassung) verneint.
3. 3.1 Der Beschwerdeführer stellt die Beweiskraft des Gutachtens des Instituts X._ in Abrede: Die Einschätzung der Arbeitsfähigkeit als Pizzaiolo von 50 % sei nicht begründet und stehe im Widerspruch zu der abstrakten Umschreibung der zumutbaren Tätigkeiten, da in diesem Beruf gerade die ausgeschlossenen Belastungen aufträten. Ebenso fehle eine Begründung für die Auffassung, dass die Leistungsfähigkeit in einer angepassten Tätigkeit nicht eingeschränkt sei. Ausserdem bestreitet er die Verwertbarkeit der Restarbeitsfähigkeit.
3.2 Bei vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit einer versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil 9C_270/2008 vom 12. August 2008 E. 2.2).
3.3 Um den Invaliditätsgrad bemessen zu können, ist die Verwaltung (und im Beschwerdefall das Gericht) auf Unterlagen angewiesen, die ärztliche und gegebenenfalls auch andere Fachleute zur Verfügung zu stellen haben. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Im Weiteren sind die ärztlichen Auskünfte eine wichtige Grundlage für die Beurteilung der Frage, welche Arbeitsleistungen der Person noch zugemutet werden können (BGE 132 V 93 E. 4 S. 99 f. mit Hinweisen). Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und in der Beurteilung der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sind (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352 mit Hinweis).
3.4 Das kantonale Gericht hat dem Gutachten des Instituts X._ nach einlässlicher und überzeugender Würdigung zu Recht volle Beweiskraft beigemessen. Die Einschätzungen der Gutachter in Bezug auf die Arbeitsfähigkeit für die bisherige und eine angepasste Tätigkeit, welche laut Stellungnahme vom 29. Oktober 2007 auch den Regionalen Ärztlichen Dienst (RAD; vgl. Art. 59 Abs. 2 IVG und Art. 49 Abs. 1 und 3 IVV, je in der bis 31. Dezember 2007 gültig gewesenen Fassung; Urteil I 143/07 vom 14. September 2007 E. 3.3) überzeugten, sind durch die im Bericht erwähnten, sich aus den Akten, Untersuchen und Angaben des Versicherten ergebenden Befunde begründet. Dass insbesondere der Hausarzt des Versicherten eine vollständige Arbeitsunfähigkeit seit Oktober 2004 bescheinigte, vermag den Beweiswert des Gutachtens nicht zu schmälern, zumal die Verschiedenheit eines medizinischen Begutachtungsauftrages von der Aufgabe des behandelnden Arztes zu berücksichtigen ist (BGE 125 V 351 E. 3b/cc S. 353; Urteil I 701/05 vom 5. Januar 2007 E. 2 in fine, je mit Hinweisen). Es liegt auch kein Widerspruch darin, dass trotz der Einschränkungen bezüglich zumutbarer Tätigkeiten eine reduzierte Arbeitsfähigkeit für die bisherige, nicht leidensangepasste Arbeit attestiert wurde: Bei deren Ausübung wäre den gesundheitlichen Beeinträchtigungen durch eine zeitliche Limitierung Rechnung zu tragen (gewesen), während angepasste Betätigungen für vollzeitlich zumutbar gehalten wurden. Diese Auffassung vertrat die Verwaltung - gestützt auf die erwähnte Stellungnahme des RAD - dem Versicherten gegenüber bereits mit der Verfügung vom 8. November 2007. Sodann hat das Gutachten die 50 %ige Zumutbarkeit als Pizzaiolo nur "allenfalls" angenommen; ausschlaggebend für die vorinstanzliche Beurteilung war ohnehin nicht diese Tätigkeit, sondern die vollzeitliche Arbeitsfähigkeit in angepasster Tätigkeit, d.h. für körperlich leichte bis maximal mittelschwere Arbeiten bei "frei zu wählendem Wechsel der Arbeitsposition". Im Übrigen ist die Einschränkung in der bisherigen Tätigkeit lediglich im Zusammenhang mit dem Zeitpunkt des Beginns eines allfälligen Anspruchs (vgl. Art. 29 IVG in der bis 31. Dezember 2007 gültig gewesenen Fassung; BGE 128 V 174 E. 4a S. 175 und 129 V 222 E. 4.2 S. 223 f.) relevant und nicht für die Invaliditätsgradbemessung an sich (vgl. Art. 16 ATSG).
3.5 Dass die Vorinstanz stillschweigend von der Verwertbarkeit der Arbeitsfähigkeit für leidensangepasste Tätigkeiten auf dem allgemeinen ausgeglichenen Arbeitsmarkt ausgegangen ist, beruht weder auf einer mangelhaften Feststellung des Sachverhalts noch verstösst es sonst wie gegen Bundesrecht (ZAK 1991 S. 318, I 350/89 E. 3b; Urteile 8C_489/2007 vom 28. Dezember 2007 E. 4.1 und 9C_446/2008 vom 18. September 2008 E. 3.4). Das Finden einer zumutbaren Stelle erscheint nicht zum Vornherein als ausgeschlossen, zumal sich laut Bericht der Beruflichen Abklärungsstelle (BEFAS) vom 30. August 2006 leichte und wechselbelastende Tätigkeiten im Bereich der industriellen Fertigung (Demontage- und Assemblierarbeiten, Verpackung, Bedienen von einfachen eingestellten Maschinen) anbieten. Insbesondere spricht auch die Tatsache, dass der Versicherte seit Beendigung des Arbeitsverhältnisses Ende Januar 2005 nicht mehr erwerbstätig war, nicht gegen die Verwertbarkeit der verbleibenden Arbeitsfähigkeit. Ausserdem sind an die Konkretisierung von Arbeitsgelegenheiten und Verdienstaussichten praxisgemäss nicht übermässige Anforderungen zu stellen (Urteile 9C_744/2008 vom 19. November 2008 E. 3.2 und 9C_236/2008 vom 4. August 2008 E. 4.2; Urteil des Eidg. Versicherungsgerichts I 349/01 vom 3. Dezember 2003 E. 6.1).
3.6 Die übrigen Bemessungsfaktoren werden weder in tatsächlicher noch in rechtlicher Hinsicht beanstandet. Es besteht kein Anlass für eine nähere Prüfung von Amtes wegen (BGE 125 V 413 E. 1b und 2c S. 415 ff; BGE 110 V 48 E. 4a S. 53).
Der angefochtene Entscheid verletzt Bundesrecht nicht.
4. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Februar 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann