Sachverhalt: A. Der 1950 geborene S._ war von April 1975 bis Ende Juli 2003 Lehrer an der Schule X._. Im Juli 2004 meldete er sich bei der Invalidenversicherung an und beantragte Eingliederungsmassnahmen beruflicher Art. Nach Abklärungen unter anderem zum Gesundheitszustand aus psychiatrischer Sicht und nach Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle Basel-Stadt mit Verfügung vom 15. Februar 2007 den Anspruch auf eine Invalidenrente. Am folgenden Tag verfügte sie zudem den einstweiligen Abschluss der Massnahmen beruflicher Art. B. In teilweiser Gutheissung der Beschwerde des S._ hob das Sozialversicherungsgericht Basel-Stadt die Verfügungen vom 15. und 16. Februar 2007 auf und sprach dem Versicherten eine Viertelrente (ab von der IV-Stelle noch zu bestimmenden Beginn) samt Verzugszins auf den rückständigen Betreffnissen sowie berufliche Massnahmen im Sinne der Erwägungen zu. Die Parteientschädigung setzte es auf Fr. 2000.- zuzüglich Mehrwertsteuer von Fr. 152.- fest (Entscheid vom 11. Oktober 2007). C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Entscheid vom 11. Oktober 2007 sei teilweise aufzuheben und ihm rückwirkend ab 1. September 2003 eine ganze Invalidenrente zuzusprechen, eventualiter die Sache zur Neubeurteilung an das kantonale Gericht oder die IV-Stelle zurückzuweisen, die Ansprüche spätestens ab 1. September 2005 zu verzinsen, auf die Erhebung von Kosten für das bundesgerichtliche Verfahren allenfalls zu verzichten und die Parteientschädigung für das vorangegangene Verfahren auf Fr. 5020.60 inkl. Auslagen und Mehrwertsteuer festzusetzen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.