Sachverhalt:
A. M._ war von 2004 bis Januar 2012 mit einem Pensum von 70 % als wissenschaftlicher Mitarbeiter an der Universität X._ tätig. Daneben prüfte er in einem selbstständigen Nebenerwerb mit einem Pensum von ca. 25 % juristische Publikationen. Zudem war er ab 2007 Geschäftsführer der L._ GmbH. Infolge Kündigung der Anstellung an der Universität X._ meldete sich M._ per 1. Februar 2012 zum Bezug von Arbeitslosenentschädigung an. Das zuständige Regionale Arbeitsvermittlungszentrum Basel-Stadt (nachfolgend: RAV) stellte ihn mit Verfügungen vom 16. Februar, 6. März, 5. April, 15. Mai, 6. Juni, 10. Juli und 8. August 2012 wegen ungenügender Arbeitsbemühungen jeweils zwischen 5 und 22 Tagen in der Anspruchsberechtigung ein. Gegen einen Teil der Verfügungen erhob M._ Einsprachen. Das RAV trat auf die Einsprache gegen die Verfügung vom 5. April 2012 mit Entscheid vom 21. Mai 2012 nicht ein und wies die übrigen Einsprachen mit Entscheiden vom 20. März und 16. August 2012 ab.
B. M._ focht diese Verfügungen und Einspracheentscheide mit verschiedenen Eingaben beim Sozialversicherungsgericht des Kantons Basel-Stadt an. Das Rechtsmittel gegen die mit Einspracheentscheid vom 16. August 2012 bestätigten Verfügungen vom 10. Juli und 8. August 2012 zog er in der Folge zurück. Das Sozialversicherungsgericht nahm die übrigen Eingaben als Beschwerden (soweit Einspracheentscheide betreffend) resp. "Sprungbeschwerden" (soweit direkt gegen Verfügungen gerichtet) unter den Verfahrensnummern AL.2012.XX, AL.2012.XY sowie AL.2012.XZ entgegen, führte Schriftenwechsel durch, vereinigte die Verfahren und setzte die Urteilsberatung auf den 15. Oktober 2012 an. Es wies sodann ein Gesuch des M._ um Verschiebung der Beratung ab und führte diese am 15. Oktober 2012 durch. Dabei entschied es, die Beschwerde gegen den Einspracheentscheid vom 21. Mai 2012 werde gutgeheissen, die Beschwerde gegen die diesem zugrunde liegende Verfügung vom 5. April 2012 aber, ebenso wie die übrigen Beschwerden resp. "Sprungbeschwerden", abgewiesen (Entscheid vom 15. Oktober 2012).
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt M._ hauptsächlich, es seien der vorinstanzliche Entscheid und - falls das Bundesgericht nicht selber in der Sache entscheide - auch die streitigen Verwaltungsverfügungen aufzuheben.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 137 II 313 E. 1.4 S. 317 f. mit Hinweis). Trotzdem obliegt es der Beschwerde führenden Partei, sich in ihrer Beschwerde sachbezogen mit den Darlegungen im angefochtenen Entscheid auseinanderzusetzen (Art. 42 Abs. 1 und 2 BGG). Das Bundesgericht prüft unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht - vorbehältlich offensichtlicher Fehler - nur die in seinem Verfahren geltend gemachten Rechtswidrigkeiten. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1 S. 389; vgl. auch BGE 137 III 580 E. 1.3 S. 584; je mit Hinweisen).
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze zur arbeitslosenversicherungsrechtlichen Obliegenheit der versicherten Person, im Rahmen der Schadenminderungspflicht Arbeit zu suchen, und zur Einstellung in der Anspruchsberechtigung auf Arbeitslosenentschädigung bei ungenügenden Arbeitsbemühungen zutreffend dargelegt. Darauf wird verwiesen.
3. Die Vorinstanz ist zum Ergebnis gelangt, dass die Arbeitsbemühungen des Versicherten in den fraglichen Zeiträumen den grundsätzlich zu erwartenden Mindestvorgaben nicht genügen. Der Beschwerdeführer stellt dies nicht in Frage. Er macht vielmehr geltend, er sei gesundheitsbedingt bei der Arbeitssuche beeinträchtigt gewesen. Daneben erhebt er formelle Rügen.
4. Das kantonale Gericht hat erkannt, die bis zu seinem Entscheid vom 15. Oktober 2012 vorgelegenen Akten enthielten keine Anhaltspunkte dafür, dass der Gesundheitszustand des Versicherten die Arbeitssuche in relevanter Weise erschwert hätte. Das wird letztinstanzlich nicht bestritten. Der Beschwerdeführer beruft sich vielmehr auf den am 29. Oktober 2012, mithin nach der vorinstanzlichen Entscheidfällung, erstatteten Bericht des Dr. med. O._, Spezialarzt FMH Psychiatrie und Psychotherapie. Er macht im Zusammenhang mit diesem Arztbericht auch geltend, das kantonale Gericht habe seinen Anspruch auf rechtliches Gehör missachtet. Zum einen sei dies bei der Durchführung der Schriftenwechsel geschehen. Zum anderen habe die Vorinstanz den Gehörsanspruch verletzt, indem sie in Abweisung des Verschiebungsgesuchs die Urteilsberatung durchgeführt habe, ohne den vom Versicherten angekündigten Bericht des Psychiaters und die von diesem Bericht abhängigen Vergleichsverhandlungen mit der Verwaltung abzuwarten.
Ob eine Gehörsverletzung vorgelegen hat, kann indessen ebenso offen bleiben wie die Frage nach der Begründetheit der weiteren Rüge, die Verwaltung habe hinsichtlich der Einholung eines Arztberichts die Aufklärungs- und Beratungspflicht verletzt. Denn auch wenn der Sachverhalt im bundesgerichtlichen Verfahren ausnahmsweise voll und unter Berücksichtigung des - novenrechtlich an sich unzulässigen (Art. 99 Abs. 1 BGG) - Arztberichts vom 29. Oktober 2012 überprüft wird, ergibt sich kein entschuldbarer Grund für die ungenügenden Arbeitsbemühungen. Der Einwand betreffend Vergleich ist ebenfalls unbegründet. Das zeigen die folgenden Erwägungen.
4.1 4.1.1 Dr. med. O._ hatte zunächst mit Schreiben vom 15. Oktober 2012 erklärt, der Versicherte sei ihm seit 1986 bekannt. Dieser sei damals in der Kinder- und Jugendpsychiatrischen Poliklinik bei der inzwischen verstorbenen Frau lic. phil. B._ in psychotherapeutischer Behandlung, unter Supervision durch Dr. med. O._ als Oberarzt, gewesen. Im Bericht vom 29. Oktober 2012 hielt der Psychiater fest, der Versicherte habe als Jugendlicher und Erwachsener über Jahre hinweg aufgrund einer bestehenden schweren Legasthenie und ausgeprägten sozialen Phobien in psychiatrisch-psychotherapeutischer Behandlung bei Frau lic. phil. B._ gestanden. Er, Dr. med. O._, bestätige aus ärztlicher Sicht, dass die vom Beschwerdeführer nur zaghaft aufgenommenen Bewerbungsbemühungen um Arbeit in seinem psychischen Leiden und seiner Persönlichkeitsstruktur fussten. Diese Krankheiten behinderten ihn in seiner Fähigkeit zur gezielten Arbeitssuche. Aus psychiatrischer Sicht sei der Beschwerdeführer voll arbeitswillig und -fähig, also auch vermittlungsfähig. Die Behinderung wirke sich bei ihm vorab bei der Suche einer Arbeit aus.
4.1.2 Diese, nicht weiter begründete, ärztliche Stellungnahme überzeugt nicht. Dem Versicherten war die gleichzeitige Ausübung gleich dreier Erwerbstätigkeiten mit einem Gesamtpensum von (mindestens) annähernd 100 % und offenbar ohne gesundheitsbedingte Hindernisse möglich. Es ist nicht nachvollziehbar, weshalb er dies realisieren konnte und gemäss ärztlicher Bescheinigung eine volle Vermittlungsfähigkeit besteht, ihm aber eine den arbeitslosenversicherungsrechtlichen Anforderungen genügende Stellensuche nicht möglich sein soll. Es kann namentlich nicht von schwerwiegenden psychischen Problemen bei der Motivationsfähigkeit und beim Umgang mit anderen Personen ausgegangen werden, zumal die vom Beschwerdeführer parallel ausgeübten Erwerbstätigkeiten durchaus auch unter diesen Gesichtswinkeln anspruchsvoll erscheinen. Auch die Ausführungen des Dr. med. O._ gestatten somit nicht den Schluss auf eine Krankheit, welche den Versicherten bei der Stellensuche behindert hätte und damit die ungenügenden Arbeitsbemühungen zu entschuldigen vermöchte.
4.2 Es ist sodann ohne Weiteres davon auszugehen, dass sich die Verwaltung auch unter Berücksichtigung des Arztberichts vom 29 Oktober 2012 nicht zu einem vergleichsweisen Entgegenkommen in einem oder mehreren der hängigen Verfahren bereit erklärt hätte. Damit kann auch offen bleiben, ob sie bei dem damals gegebenen Verfahrensstand überhaupt noch befugt gewesen wäre, vergleichsweise auf ihre Verfügungen resp. Einspracheentscheide zurückzukommen (vgl. Art. 53 Abs. 3 ATSG; UELI KIESER, ATSG-Kommentar, 2. Aufl., N. 74 zu Art. 53 ATSG).
5. Der Beschwerdeführer erhebt weitere formellrechtliche Rügen.
5.1 Er beruft sich darauf, bereits die Verwaltung habe seinen Anspruch auf rechtliches Gehör verletzt. Ein allfälliger solcher Mangel wäre indessen jedenfalls im kantonalen Verfahren geheilt worden. Es kann auf die vorinstanzlichen Erwägungen verwiesen werden.
5.2 Beanstandet wird weiter, dass das kantonale Gericht bei den nicht mit Einsprache angefochtenen Verfügungen sowie bei der Verfügung, bei welcher es den Einspracheentscheid aufhob, selber in der Sache entschieden und diese nicht an die Verwaltung zurückgewiesen hat. Das entsprechende Vorgehen ist indessen rechtmässig. Eine Rückweisung an die Verwaltung hätte unter den gegebenen Umständen denn auch einem formalistischen Leerlauf entsprochen.
5.3 Geltend gemacht wird sodann, das kantonale Gericht habe dem Versicherten nur im Verfahren AL.2012.XX die von der Verwaltung in der Beschwerdeantwort erwähnten und mit dieser aufgelegten RAV-Protokolle zugestellt, nicht aber in den Verfahren AL.2012.XY und AL.2012.XZ. Das stelle eine Verletzung des Akteneinsichtsrechts dar. Die Akten der letztgenannten Verfahren enthalten indessen weder RAV-Protokolle noch einen entsprechenden Hinweis in einer Beschwerdeantwort. Die Rüge geht daher fehl.
5.4 Bezogen auf das Verfahren AL.2012.XZ wird gerügt, es sei regelwidrig weder ein zweiter Schriftenwechsel noch eine öffentliche Parteiverhandlung durchgeführt worden.
Bezüglich Schriftenwechsel hat es mit der Feststellung sein Bewenden, dass die Verwaltung auf die Beschwerde hin einzig festhielt, sie verweise auf ihre Beschwerdeantworten in den anderen Verfahren. Dass die Vorinstanz dem Versicherten hierauf nicht noch ausdrücklich die Möglichkeit zur Replik einräumte, ist nicht zu beanstanden.
Zur zweiten Rüge führt der Versicherte aus, die Vorinstanz habe keine mündliche Parteiverhandlung durchgeführt, obwohl er - anders als in den anderen Verfahren - nicht ausdrücklich darauf verzichtet habe. Einen Antrag auf Durchführung einer solchen Verhandlung hat er aber unbestrittenermassen nicht gestellt. Der Verzicht darauf verstösst daher weder gegen Bundesrecht noch gegen die EMRK. Ob die vom Versicherten überdies angerufene kantonale Gesetzesnorm verletzt wurde, ist vom Bundesgericht nicht zu prüfen (Art. 95 BGG).
6. Zusammenfassend vermögen sämtliche Einwände nicht, die vorinstanzliche Beurteilung, wonach der Versicherte verschuldeterweise die ihm von der Verwaltung angelasteten ungenügenden Arbeitsbemühungen gezeigt hat, in Frage zu stellen. Die dafür konkret verfügten Einstelltage werden in der Beschwerde nicht weiter kommentiert und geben keinen Anlass zu Weiterungen. Der angefochtene Entscheid ist somit rechtens.
7. Auf ein letztes Begehren des Versicherten, wonach die Verwaltung zu verpflichten sei, die Kosten des Arztberichts vom 29. Oktober 2012 zu übernehmen, kann nicht eingetreten werden, da es erstmals im vorliegenden Verfahren gestellt wird (Art. 99 Abs. 2 BGG).
8. Die offensichtlich unbegründete Beschwerde ist im Verfahren nach Art. 109 Abs. 2 lit. a und Abs. 3 BGG abzuweisen, soweit darauf einzutreten ist.
9. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 26. April 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz