Sachverhalt:
A. Der 1950 geborene S._ war von April 1975 bis Ende Juli 2003 Lehrer an der Schule X._. Im Juli 2004 meldete er sich bei der Invalidenversicherung an und beantragte Eingliederungsmassnahmen beruflicher Art. Nach Abklärungen unter anderem zum Gesundheitszustand aus psychiatrischer Sicht und nach Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle Basel-Stadt mit Verfügung vom 15. Februar 2007 den Anspruch auf eine Invalidenrente. Am folgenden Tag verfügte sie zudem den einstweiligen Abschluss der Massnahmen beruflicher Art.
B. In teilweiser Gutheissung der Beschwerde des S._ hob das Sozialversicherungsgericht Basel-Stadt die Verfügungen vom 15. und 16. Februar 2007 auf und sprach dem Versicherten eine Viertelrente (ab von der IV-Stelle noch zu bestimmenden Beginn) samt Verzugszins auf den rückständigen Betreffnissen sowie berufliche Massnahmen im Sinne der Erwägungen zu. Die Parteientschädigung setzte es auf Fr. 2000.- zuzüglich Mehrwertsteuer von Fr. 152.- fest (Entscheid vom 11. Oktober 2007).
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Entscheid vom 11. Oktober 2007 sei teilweise aufzuheben und ihm rückwirkend ab 1. September 2003 eine ganze Invalidenrente zuzusprechen, eventualiter die Sache zur Neubeurteilung an das kantonale Gericht oder die IV-Stelle zurückzuweisen, die Ansprüche spätestens ab 1. September 2005 zu verzinsen, auf die Erhebung von Kosten für das bundesgerichtliche Verfahren allenfalls zu verzichten und die Parteientschädigung für das vorangegangene Verfahren auf Fr. 5020.60 inkl. Auslagen und Mehrwertsteuer festzusetzen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht legt seinem Urteil - von hier nicht interessierenden Ausnahmen abgesehen - den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 1 und 2 BGG), und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
Eine Verletzung von Bundesrecht nach <ref-law> ist insbesondere gegeben bei einer unvollständigen (gerichtlichen) Feststellung der rechtserheblichen Tatsachen (Urteil 9C_360/2007 vom 30. August 2007 E. 3) und bei einer Verletzung des Untersuchungsgrundsatzes nach <ref-law> (Urteil 8C_364/2007 vom 19. November 2007 E. 3.3; Urteil 9C_534/2007 vom 27. Mai 2008 E. 1; vgl. auch <ref-ruling> E. 3.4.2 S. 295 f.).
2. Der vorinstanzliche Entscheid ist nicht angefochten, soweit er Eingliederungsmassnahmen beruflicher Art (<ref-law>) betrifft. Materiell streitig und zu prüfen ist einzig die vom kantonalen Gericht zugesprochene Viertelrente.
3. Das kantonale Gericht hat durch Einkommensvergleich (<ref-law> und <ref-ruling> E. 1 S. 30 in Verbindung mit <ref-ruling>) einen Invaliditätsgrad von 40 % ermittelt, was Anspruch auf eine Viertelrente gibt (<ref-law>). Das Invalideneinkommen hat es auf der Grundlage der Schweizerischen Lohnstrukturerhebung 2002 des Bundesamtes für Statistik bestimmt (vgl. <ref-ruling> E. 4.2.1 S. 476, 124 V 221). Dabei ist es vom monatlichen Bruttolohn von Männern in allen Wirtschaftszweigen des privaten Sektors ("Total") in Tätigkeiten mit Anforderungsniveau 1+2 des Arbeitsplatzes (Verrichtung höchst anspruchsvoller und schwierigster resp. selbstständiger und qualifizierter Arbeiten) ausgegangen. Die trotz gesundheitlicher Beeinträchtigung zumutbare Arbeitsfähigkeit hat die Vorinstanz entsprechend der Einschätzung des Dr. med. A._ im psychiatrischen Gutachten vom 14. Oktober 2005, welchem voller Beweiswert zukomme (<ref-ruling> E. 3a S. 352), mit Ergänzung vom 21. November 2005 auf 70 % in einer zum angestammten Beruf als Lehrer alternativen Tätigkeit festgesetzt.
4. Der Beschwerdeführer bestreitet den Beweiswert des Gutachtens vom 14. Oktober 2005. Die Beurteilung des Experten beruhe nicht auf den vollständigen medizinischen Akten. Im Gutachten fehle denn auch eine Auseinandersetzung mit der das depressive Bild begleitenden massiven Somatisierung und mit der Diagnose einer narzisstischen Persönlichkeitsstörung im Sinne von ICD-10 F60.8. Aufgrund des (wahren) Krankheitsbildes hätte es im Übrigen wohl mehr als eines Untersuchungstermins bedurft, um in Bezug auf die daraus resultierende Arbeitsunfähigkeit eine fundierte Longitudinalprognose abgeben zu können.
4.1 Einem ärztlichen Bericht ist (voller) Beweiswert zuzuerkennen, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen des Arztes begründet sind (<ref-ruling> E. 3a S. 352; Urteil 9C_55/2008 vom 26. Mai 2008 E. 4.2).
In Bezug auf den Beweiswert eines psychiatrischen Gutachtens unter dem Gesichtspunkt der Dauer der Untersuchung gilt, dass sich ein allgemein gültiger Zeitrahmen nicht angeben lässt. Massgebend sind in erster Linie die Fragestellung sowie die zu beurteilende Psychopathologie. Ein sehr hoher Zeitaufwand kann erforderlich sein, um den Verdacht auf eine Simulation einer psychischen Störung zu klären, eine schwierige Persönlichkeitsstörung zu erhellen oder problematische Fragen nach dem Zusammenhang zwischen traumatischen äusseren Ereignissen und nachfolgender Symptomatik zu erörtern. Dabei ist zu berücksichtigen, dass die wichtigste Grundlage der Schlussfolgerungen des psychiatrischen Gutachters - allenfalls neben standardisierten Tests - die klinische Untersuchung mit Anamneseerhebung, Symptomerfassung und Verhaltensbeobachtung ist (Urteil I 1094/06 vom 14. November 2007 E. 3.1.1 mit Hinweisen).
4.2 Dem Beschwerdeführer ist darin beizupflichten, dass ein Gutachten, welches die medizinischen Vorakten unzureichend berücksichtigt, in seinem Beweiswert gemindert wird (Urteil 9C_51/2008 vom 30. Juni 2008 E.2.2 mit Hinweisen). Es steht fest, dass die Berichte des PD Dr. med. B._ vom 24. August 2000 und des Regionalen Ärztlichen Dienstes vom 24. Februar (recte: 1. März) 2005 im Gutachten vom 14. Oktober 2005 beim Aktenauszug nicht erwähnt werden. Dies ist mit Bezug auf den zweiten Bericht aber schon deshalb ohne Bedeutung, weil darin lediglich eine psychiatrische Begutachtung empfohlen wurde, welche dann auch stattfand. Der Bericht des PD Dr. med. B._ vom 24. August 2000 über die Gastroskopie vom selben Tag sodann wurde im Bericht des Hausarztes Dr. med. D._ vom 12. August 2004 unter den Beilagen erwähnt. Eine Kopie davon befindet sich auf der Rückseite der zweiten Seite des hausärztlichen Berichtes, welcher dem psychiatrischen Gutachter vorgelegen hat. Es kommt dazu, dass die von PD Dr. med. B._ diagnostizierten kleine Hiatushernie und ganz diskrete, erosive Refluxoesophagitis resp. die mit dem Stress in Zusammenhang stehende Motilitätsstörungen im Sinne einer erhöhten Empfindlichkeit von Magen und Darm offenbar keine Auswirkungen auf die Arbeitsfähigkeit hatten. Weder äusserte sich der Gastroenterologe dahingehend, noch finden sich diesbezügliche Hinweise in den Akten. Gemäss Hausarzt hatten die abdominellen Beschwerden keine Auswirkungen auf die Arbeitsfähigkeit (Bericht vom 12. August 2004). Schliesslich erwähnte der Beschwerdeführer auch gegenüber dem psychiatrischen Gutachter, er habe unter verschiedenen somatischen Beschwerden gelitten, welche sich als psychosomatische herausgestellt hätten. Der Experte hatte somit durchaus Kenntnis von den abdominellen Beschwerden und hätte unzweifelhaft die notwendigen Abklärungen veranlasst, wenn er dies für eine Diagnosestellung lege artis als erforderlich erachtet hätte. Dies gilt auch für die Frage einer allfälligen narzisstischen Persönlichkeitsstörung, welche Diagnose sich aufgrund der Befunde nicht stellen lasse, wie der Gutachter in seiner ergänzenden Stellungnahme vom 21. November 2005 festhielt. Die in diesem Zusammenhang geltend gemachte ungenügende Exploration in zeitlicher Hinsicht ist nicht substanziiert begründet, zumal es schon an einer Angabe zur Dauer der Untersuchung fehlt. Soweit der Beschwerdeführer gestützt auf den Bericht des behandelnden Psychiaters Dr. med. E._ vom 23. August 2004 den Beweiswert des Gutachtens vom 14. Oktober 2005 bestreitet, übt er unzulässige appellatorische Kritik am vorinstanzlichen Entscheid (Urteil 9C_882/2007 vom 11. April 2008 E. 5.1).
5. Weiter rügt der Beschwerdeführer, die Vorinstanz sei ohne Begründung von der erwerblichen Verwertbarkeit der Arbeitsfähigkeit von 70 % in alternativen Tätigkeiten gemäss dem psychiatrischen Gutachten vom 14. Oktober 2005 ausgegangen. Insbesondere habe sie die in Anbetracht der vielschichtigen Anforderungen an eine Verweisungstätigkeit beantragte Einholung eines Gutachtens bei der BEFAS nicht behandelt und damit Bundesrecht verletzt. Ein diesbezüglicher Abklärungsbedarf ergebe sich auch aus dem Eintrag vom 2. November 2006 im Protokoll der IV-Stelle vom 30. April 2007.
Das kantonale Gericht hat zu den im Wesentlichen gleich lautenden Vorbringen in der vorinstanzlichen Beschwerde keine Ausführungen gemacht. Bei der Ermittlung des Invaliditätsgrades ist es davon ausgegangen, trotz der gesundheitlichen Beeinträchtigung seien Tätigkeiten mit einem Anforderungsniveau des Arbeitsplatzes 1+2 (Verrichtung höchst anspruchsvoller und schwierigster resp. selbstständiger und qualifizierter Arbeiten) im Sinne der Schweizerischen Lohnstrukturerhebung 2002 des Bundesamtes für Statistik (S. 22 und 43) im Rahmen eines 70 %-Pensums zumutbar (E. 3).
5.1 Das trotz der gesundheitlichen Beeinträchtigung zumutbarerweise erzielbare Einkommen ist bezogen auf einen ausgeglichenen Arbeitsmarkt zu ermitteln. Ein solcher Arbeitsmarkt ist gekennzeichnet durch ein gewisses Gleichgewicht zwischen Angebot und Nachfrage nach Arbeitskräften und weist einen Fächer verschiedenster Tätigkeiten auf und zwar sowohl bezüglich der dafür verlangten beruflichen und intellektuellen Voraussetzungen wie auch hinsichtlich des körperlichen Einsatzes (<ref-ruling> E. 4b S. 276; ZAK 1991 S. 321 E. 3b). Dabei ist nicht von realitätsfremden Einsatzmöglichkeiten auszugehen. Es können nur Vorkehren verlangt werden, die unter Berücksichtigung der gesamten objektiven und subjektiven Gegebenheiten des Einzelfalles zumutbar sind (Urteil des Eidg. Versicherungsgerichts I 97/00 vom 29. August 2002 E. 1.3.1 mit Hinweisen). Anderseits sind an die Konkretisierung von Arbeitsgelegenheiten und Verdienstaussichten keine übermässigen Anforderungen zu stellen.
5.1 Das trotz der gesundheitlichen Beeinträchtigung zumutbarerweise erzielbare Einkommen ist bezogen auf einen ausgeglichenen Arbeitsmarkt zu ermitteln. Ein solcher Arbeitsmarkt ist gekennzeichnet durch ein gewisses Gleichgewicht zwischen Angebot und Nachfrage nach Arbeitskräften und weist einen Fächer verschiedenster Tätigkeiten auf und zwar sowohl bezüglich der dafür verlangten beruflichen und intellektuellen Voraussetzungen wie auch hinsichtlich des körperlichen Einsatzes (<ref-ruling> E. 4b S. 276; ZAK 1991 S. 321 E. 3b). Dabei ist nicht von realitätsfremden Einsatzmöglichkeiten auszugehen. Es können nur Vorkehren verlangt werden, die unter Berücksichtigung der gesamten objektiven und subjektiven Gegebenheiten des Einzelfalles zumutbar sind (Urteil des Eidg. Versicherungsgerichts I 97/00 vom 29. August 2002 E. 1.3.1 mit Hinweisen). Anderseits sind an die Konkretisierung von Arbeitsgelegenheiten und Verdienstaussichten keine übermässigen Anforderungen zu stellen.
5.2 5.2.1 Dr. med. A._ stellte die Diagnose einer rezidivierenden depressiven Störung, aktuell remittiert (ICD-10 F33.4). Die Arbeitsfähigkeit aus psychiatrischer Sicht bezifferte er auf 70 % in alternativen Tätigkeiten. In seinem ergänzenden Bericht vom 26. November 2005 führte der Gutachter aus, der Explorand sei zur Zeit als Lehrer nicht arbeitsfähig. Theoretisch sollte er durchaus in der Lage sein, an einem anderen Arbeitsplatz eine vorläufig genügende Leistung zu erbringen. Dabei bestehe aufgrund der Tatsache, dass der Explorand noch zu wenig genügend Distanz zur letzten depressiven Phase gefunden habe, eine um 30 % verminderte Belastbarkeit. Es könne jedoch angenommen werden, dass innerhalb von etwa drei Monaten ab Arbeitsbeginn eine genügende Stabilität vorhanden sei, um eine volle Arbeitsfähigkeit zu erreichen. Wenn die Vorinstanz aufgrund dieser fachärztlichen Einschätzung ohne weiteres davon ausgegangen ist, dass die Restarbeitsfähigkeit auf dem allgemeinen ausgeglichenen Arbeitsmarkt verwertbar sei, so beruht dies weder auf einer mangelhaften Feststellung des Sachverhalts noch verstösst es sonst wie gegen Bundesrecht. Der Beschwerdeführer verfügt über eine breite Ausbildung: Universitätsabschluss in verschiedenen naturwissenschaftlichen Fächern, Besuch des Lehrerseminars, berufsbegleitende Weiterbildung zum Werklehrer sowie Absolvierung eines einjährigen Zusatzstudiums in Heilpädagogik. Er unterrichtete nach der Ausbildung an der Universität und am Lehrerseminar zwar während mehreren Jahren ununterbrochen an derselben Schule. Eine andere Stelle hatte er nie inne gehabt. Die gemäss Berufsberatung (vgl. Protokoll-Eintragungen vom 10. Juli und 2. November 2006) davon herrührenden Ängste vor anderen «Arbeitswelten» sind zwar nachvollziehbar, bei adäquater, auf die Erhöhung der Sozialkompetenzen gerichteter psychotherapeutischer Behandlung mit zumutbarer Willensanstrengung jedoch überwindbar. Fragen kann sich einzig, ob die jahrzehntelange Lehrer-Tätigkeit an derselben Schule einen höheren Abzug vom Tabellenlohn als 5 % rechtfertigte. Dieser Punkt kann indessen offen bleiben. Aufgrund der gesamten Umstände könnte der Abzug jedenfalls nicht mehr als 15 % betragen. Bei im Übrigen gleichen Bemessungsfaktoren ergäbe sich ein Invaliditätsgrad von 46 %, was für den Anspruch auf eine höhere als eine Viertelsrente nicht genügt. Mit Bezug auf den Rentenbeginn weist der vorinstanzliche Entscheid die Sache an die IV-Stelle zurück, was Bundesrecht nicht verletzt.
6. 6.1 Der Beschwerdeführer rügt, die Vorinstanz habe zu Unrecht die Parteientschädigung für das kantonale Verfahren zufolge Bewilligung der unentgeltlichen Verbeiständung nach einem reduzierten Honoraransatz bemessen. Dieser sei auf Fr. 250.- zu erhöhen, desgleichen der Auslagenersatz für Kopiaturen auf Fr. 2.-. Die Parteientschädigung zu Lasten der IV-Stelle sei auf Fr. 5020.60 gemäss Honorarnote vom 17. Juli 2007 festzusetzen.
6.2 Das kantonale Gericht hat ausgehend von einer Parteientschädigung von Fr. 2800.- (inkl. Auslagen) nebst Mehrwertsteuer bei vollständigem Obsiegen als Faustregel in einem Rentenstreit dem Beschwerdeführer unter Berücksichtigung, dass lediglich Anspruch auf eine Viertelsrente besteht, Fr. 2000.- zuzüglich Fr. 152.- Mehrwertsteuer zugesprochen.
6.3 Entgegen den Vorbringen in der Beschwerde hat die Vorinstanz bei der Festsetzung der Parteientschädigung nicht einen zufolge Bewilligung der unentgeltlichen Verbeiständung reduzierten Honoraransatz angewendet. Der Beschwerdeführer hatte sein diesbezügliches Gesuch vor Erlass des angefochtenen Entscheides zurückgezogen. Anderseits hat das kantonale Gericht nicht berücksichtigt, dass der Versicherte in Bezug auf Eingliederungsmassnahmen beruflicher Art voll obsiegte. Ferner hat es ausser Betracht gelassen, dass es einen zweiten Schriftenwechsel durchgeführt hat, in welchem der Rechtsvertreter des Beschwerdeführers eine Replik einreichte. Im Fall 9C_791/2007 (entschieden mit Urteil vom 22. Januar 2008) war u.a. dies für dieselbe Vorinstanz ein Grund die Pauschale von Fr. 2800.- (ohne Mehrwertsteuer), welche sie regelmässig in durchschnittlichen Rentenfällen zuspricht, zu erhöhen.
Trotzdem kann die vorinstanzliche Festsetzung der Parteientschädigung - tarifmässig - nicht als willkürlich bezeichnet werden (Urteil 9C_791/2007 vom 22. Januar 2008 E. 3.3 in fine). Gemessen an der zugesprochenen Entschädigung von Fr. 2000.- (ohne Mehrwertsteuer) ergibt sich bei einem Aufwand von 17,5 Stunden gemäss Honorarnote vom 17. Juli 2007 unter der Annahme eines hälftigen Obsiegens ein Ansatz von rund Fr. 230.- in der Stunde. Nach der Rechtsprechung kann aber die Parteientschädigung für das Verfahren vor den kantonalen Versicherungsgerichten willkürfrei innerhalb einer Bandbreite von Fr. 180.- bis Fr. 320.- in der Stunde festgelegt werden (<ref-ruling> E. 7 S. 159 mit Hinweisen; Urteil 9C_791/2007 vom 22. Januar 2008 E. 4.3 in fine). Die Beschwerde ist somit auch in Bezug auf den vorinstanzlichen Parteikostenentscheid unbegründet.
7. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Es besteht kein Grund, ihn wegen Prozessführung in guten Treuen von der Bezahlung dieser Kosten zu befreien.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. August 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Borella Fessler