# Bielefeld Academic Search Engine

BASE (Bielefeld Academic Search Engine) ist eine Suchmaschine für wissenschaftliche Dokumente. Sie wird von der Universitätsbibliothek Bielefeld mit der Suchmaschinentechnologie der Open-Source-Software Solr/Lucene betrieben. BASE wird als strategisches Projekt fortlaufend weiterentwickelt.

## Zielgruppe und Zielsetzung

Das Angebot von BASE richtet sich in erster Linie an Wissenschaftler in Universitäten und Forschungseinrichtungen und an Studierende. Mit der Entwicklung von BASE verfolgt die Universitätsbibliothek das Ziel, mit Hilfe der Suchmaschinentechnologie einen verlässlichen, qualitativ hochwertigen Suchdienst für Forschung und Lehre aufzubauen.
BASE möchte Zugang geben zu den Inhalten wissenschaftlicher Dokumentenserver, die im Rahmen der Open-Access-Bewegung kostenfrei über OAI-PMH (Open Archives Initiative Protocol for Metadata Harvesting) zur Verfügung gestellt werden. Die Suchmaschine ist als offizieller OAI-Service-Provider registriert und war am EU-Projekt DRIVER (Digital Repository Infrastructure Vision for European Research) beteiligt, welches 2009 abgeschlossen wurde.
Aufgrund der intellektuellen Auswahl der Quellen hat BASE den Anspruch, fachlich qualifizierte Informationen in Verbindung mit umfangreichen und hochwertigen Metadaten zu liefern und sich dadurch von kommerziellen Suchmaschinen zu unterscheiden.

## Entwicklungsgeschichte
### Chronologie

| Datum | Ereignis |
| Juni 2001 | Aus festgestellten Defiziten einer Metasuchumgebung am Beispiel des Bibliotheksportals „Digitale Bibliothek NRW“ entsteht eine neue Konzeptidee: Entwicklung einer nichtkommerziellen Suchmaschine für die wissenschaftliche Nutzung |
| Feb. 2002 – Aug. 2002 | Evaluierung von Suchmaschinentechnologie |
| 2003, Sommer | Beginn der technischen Umsetzung; Entwicklung eines Prototyps (Math-Demonstrator) |
| Okt. 2003 | Bekanntgabe der Zusammenarbeit der UB Bielefeld und der Firma FAST: Beginn einer strategischen Partnerschaft zur Erprobung und Förderung von Enterprise-Suchtechnologien; Vereinbarung über den Einsatz des Systems „FAST Data Search“ |
| März 2004, Frühjahr | Abschluss der Erprobungsphase |
| Juni 2004 | Freischaltung der Bielefeld Academic Search Engine |
| Aug. 2004 | Integration weiterer Quellen (Hochschulschriftenserver, OAI-Quellen, nicht OAI-fähige Quellen); erste Indexierung von Volltexten (elektronische Dissertationen der Ruhruniversität Bochum) |
| Aug. 2005 | neue Möglichkeiten der Suchverfeinerung (Einschränkung auf die Datenquelle), verschiedene Treffersortierungen, Suchhistorie über durchgeführte Suchanfragen |
| Feb. 2006 | Ersatz der Einzelserverlösung durch Serverfarm (6 Linux-Rechner) |
| März 2006 | Integration von trefferbezogenen Links auf die wissenschaftliche Suchmaschine Google Scholar |
| Juni 2006 | Beginn der Teilnahme am EU-Projekt DRIVER (Digital Repository Infrastructure Vision for European Research) |
| Mai 2007 | Suche nach ähnlichen Wortformen |
| Juli 2007 | über 100 deutsche Repositorien in BASE; Einführung eines öffentlichen Testbereichs: BASE Lab |
| Okt. 2007 | Multilinguale Suche (Eurovoc-Thesaurus) |
| Juli 2008 | Übernahme der Suchergebnisse über Erweiterungen des Firefox-Browsers in Literaturverwaltungsprogramme |
| Jan. 2009 | Website-Relaunch: Filterung nach Dokumentenarten in erweiterter Suche |
| Aug. 2010 | Mehr als 25 Millionen Dokumente im BASE-Index |
| Feb. 2011 | Vorbereitung des Plattform-Wechsels von FAST auf Lucene/Solr |
| Mai 2011 | Freigabe des mit Lucene/Solr produzierten BASE-Index |
| Aug. 2011 | Mehr als 30 Millionen Dokumente aus über 2.000 Quellen im BASE-Index |
| Jan. 2012 | Mobile Version für Smartphone-Nutzer |
| Apr. 2012 | Möglichkeit, ein persönliches Login einzurichten |
| Juli 2012 | Eigene Suchoberfläche für in Deutschland beheimatete Dokumentenserver |
| Aug. 2013 | Kennzeichnung von Open-Access-Dokumenten und -Quellen durch entsprechende Symbole. Mehr als 50 Millionen Dokumente aus 2.700 Quellen im BASE-Index |
| Nov. 2013 | Mehr als 3,3 Millionen Dokumente von CiteSeerX erstmals indexiert. |
| Juni 2014 | Mehr als 3.000 Quellen / 60 Millionen Dokumente im Index. |
| Sep. 2014 | Open-Access-Dokumente werden im Relevanz-Ranking aufgewertet (abschaltbar); ab Juli 2014 testweise im BASE Lab, ab 23. September 2014 regulär. |
| Aug. 2015 | Suchfilter für Nachnutzung (Lizenz) und Zugang (z. B. Open Access) in der erweiterten Suche wählbar |
| Okt. 2016 | Im Oktober 2016 waren erstmals mehr als 100 Millionen Dokumente im Suchindex. |
| Mai 2017 | Seit Mai 2017 können User ihre eigenen Publikationen „claimen“, d. h. mit ihrer ORCID verknüpfen. |
| Juli 2018 | Umstellung auf ein responsives Design (Bootstrap). |
| Nov. 2019 | Mehr als 7000 Quellen / 150 Millionen Dokumente im Suchindex. |
| Aug. 2020 | Verstärkte Indexierung von Quellen via „Crossref“. Über 200 Millionen Dokumente im Suchindex. |
| Nov. 2020 | Link auf „Versionen“ (Abgleich identischer DOIs im Index). |
| Aug. 2024 | Austausch des alten SVM-basierten DDC-Klassifikators durch einen frisch trainierten, der auf Entscheidungsbaum-Lernen basiert. |

## Inhalte
### Wissenschaftliche Internetquellen

Die Inhalte von BASE sind multidisziplinär. Ausgewertet werden ausschließlich wissenschaftliche Quellen. BASE hat den Anspruch, „Internetquellen des 'Unsichtbaren Web', die in kommerziellen Suchmaschinen nicht indexiert werden oder in deren großen Treffermengen untergehen“ zu erschließen. BASE indexiert:
* OAI-Metadaten
    Die Suchmaschine enthält in erster Linie Metadaten aus Repositorien, die ihre Inhalte über das Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH) bereitstellen.
* Daten von lokalen Dokumentenservern der Universität Bielefeld
* Ausgewählte Webseiten (z. B. Webseiten wissenschaftlicher Organisationen, Wikibooks, Project Gutenberg)

### Auswahl der Quellen und Transparenz

Alle durchsuchten Quellen werden intellektuell ausgewählt und geprüft. Ein Quellenverzeichnis macht die Auswahl transparent. Neben den indexierten Quellen wurden über 1.000 weitere Quellen mit über 30 Mio. Dokumenten geharvestet, die allerdings aus verschiedenen Gründen nicht für eine Indexierung geeignet sind.

### Aktualität und Umfang

Der Index wird täglich aktualisiert, die Inhalte einzelner Dokumentenserver werden wöchentlich ergänzt.
Zurzeit sind 149.820.832 Dokumente aus 7.188 Quellen über BASE suchbar. Die Anzahl der Dokumente und Quellen steigt seit Produktionsaufnahme stetig, und der Index wird weiter ausgebaut. So werden Repository-Betreiber, die nicht im Quellenverzeichnis aufgeführt sind, gebeten, sich mit dem BASE-Team in Verbindung zu setzen.

### Länderabdeckung und Sprachen

Quellen nach Ländern
Insgesamt befinden sich Quellen aus 132 Ländern im Index. Die Länder mit mehr als 100 indexierten Quellen (Repositories) sind:
| Land | Quellen | Dokumente |
| Indonesien | 1565 | 2.824.417 |
| USA | 1255 | 117.355.030 |
| Japan | 616 | 2.943.783 |
| Deutschland | 476 | 13.525.320 |
| Vereinigtes Königreich | 405 | 23.045.769 |
| Brasilien | 382 | 3.387.566 |
| Spanien | 296 | 6.488.774 |
| Frankreich | 223 | 21.518.060 |
| Kanada | 220 | 2.718.301 |
| Russland | 210 | 2.705.296 |
| Indien | 190 | 762.022 |
| Kolumbien | 180 | 863.992 |
| Türkei | 173 | 1.605.002 |
| Italien | 172 | 6.130.119 |
| Peru | 171 | 479.693 |
| Ukraine | 155 | 1.165.876 |
| Polen | 119 | 4.366.029 |
| Australien | 101 | 3.274.223 |
Quellen nach Kontinenten
Die europäischen Länder sind am häufigsten vertreten, gefolgt von Asien, Nordamerika, Südamerika, Australien und Afrika.
| Kontinent | Quellen | Dokumente |
| Europa | 3163 | 102.780.411 |
| Asien | 2755 | 11.583.167 |
| Nordamerika | 1644 | 120.562.672 |
| Südamerika | 1016 | 6.373.730 |
| Australien/Ozeanien | 129 | 3.606.934 |
| Afrika | 151 | 1.072.927 |
| International / nicht zugeordnet | 58 | 26.250.478 |
Alle Angaben: Stand 25. Juli 2019
Dokumente nach Sprachen
Sortiert nach Sprachen, ergibt sich folgendes Bild von den am meisten genutzten Sprachen mit mehr als 250.000 erfassten Dokumenten:
| Sprache | Dokumente |
| Englisch | 133.509.263 |
| Französisch | 15.514.878 |
| Spanisch | 8.899.044 |
| Deutsch | 8.613.351 |
| Portugiesisch | 4.293.005 |
| Polnisch | 3.066.618 |
| Italienisch | 2.783.116 |
| Japanisch | 2.304.406 |
| Russisch | 2.199.070 |
| Chinesisch | 1.602.978 |
| Bahasa Indonesia | 1.008.238 |
| Latein | 994.789 |
| Norwegisch | 987.461 |
| Niederländisch | 927.455 |
| Ukrainisch | 917.321 |
| Türkisch | 840.040 |
| Finnisch | 640.490 |
| Kroatisch | 564.203 |
| Tschechisch | 557.487 |
| Katalanisch | 546.150 |
| Neugriechisch | 524.925 |
| Ungarisch | 518.561 |
| Schwedisch | 515.195 |
| Dänisch | 461.426 |
Etwa 1/3 aller Quellen sind keiner Sprache zugeordnet.

### Zugang zu den indexierten Dokumenten

BASE weist nicht ausschließlich Open-Access-Angebote nach. BASE bietet die Möglichkeit an, eine Trefferliste auf eindeutig als Open Access klassifizierte Dokumente einzuschränken. Momentan können nur gut 45 % der indexieren Dokumente zweifelsfrei als Open Access von BASE gekennzeichnet werden, auch wenn die tatsächliche Quote der frei zugänglichen Dokumente bei ca. 60 % liegt. Die Kennzeichnung von Open-Access-Dokumenten auf Dokumentebene soll ausgebaut werden. Seit Juli 2014 werden Open-Access-Dokumente im Relevanz-Ranking mit einem Boost-Faktor versehen, also tendenziell weiter vorn in der Ergebnisliste angezeigt. Diese neue Funktion ist abschaltbar.

## Funktionen
### Benutzeroberfläche und Navigation

Die barrierefreie Benutzeroberfläche von BASE ist einfach und übersichtlich gestaltet. Die Rechercheoberfläche wird wahlweise chinesisch (vereinfachte Schrift), deutsch, englisch, französisch, griechisch, polnisch, spanisch (kastilisch) oder ukrainisch angeboten. Informationen über BASE sind deutsch und englisch verfügbar.
Die Startseite ermöglicht eine Suche im BASE-Index (Standardsuche). Von hier aus erfolgt auch der Übergang zu den weiteren Funktions- und Recherchebereichen von BASE: Erweiterte Suche, Hilfe, Browsing und Suchhistorie sowie zur mobilen Version. Die Optionen befinden sich in einer Überschriftleiste, die für alle Rechercheseiten einheitlich gestaltet ist, so dass problemlos zwischen den Funktionen gewechselt werden kann. Unterhalb der Suchmaske gelangt man u. a. auf die Seiten Über BASE (allgemeine Informationen über das Rechercheportal), das BASE-Blog und den Mastodonkanal.

### Recherchefunktionalität

Standardsuche Bewusst am Erfolg von Google orientiert, präsentiert BASE dem Benutzer für den Sucheinstieg die Standardsuche mit nur einem einfachen Suchfeld, das standardmäßig für die Freitextsuche zur Verfügung steht. Mithilfe einer in der Hilfe erklärten Syntax ist es möglich, die Suche einzelner Begriffe auf einzelne Metadatenfelder zu beschränken. Bei der Eingabe der Suchbegriffe können Platzhalter für eine Rechtstrunkierung verwendet werden.
Zusätzlich bietet die Standardsuche die Option der automatischen Erweiterung der Suchbegriffe auf andere Wortformen (Lemmatisierung).
Erweiterte Suche Die Erweiterte Suche eröffnet standardmäßig die Möglichkeit, die Suchbegriffe spezifisch für die folgenden Metadatenfelder einzugeben: Gesamtes Dokument, Titel, Autor, Schlagwörter, DOI, (Teil der) URL und Verlag. Die Suche im gesamten Dokument entspricht der Standardsuche. Die einzelnen Metadatenfelder können miteinander kombiniert werden. Sie werden automatisch mit dem Booleschen Operator UND verknüpft. Innerhalb eines Suchfeldes können die Suchbegriffe durch verschiedene Boolesche Operatoren über eine spezielle, in der Hilfe dokumentierte Syntax kombiniert werden.
Daneben besteht die Option der Eingrenzung der Suche auf die Herkunft der Quellen (bestimmte Länder oder Kontinente), auf bestimmte Erscheinungsjahre oder -zeiträume, auf bestimmte Dokumentarten (z. B. Bücher, Artikel, Dissertationen, Videos) sowie auf Lizenzen zur Nachnutzung (Creative Commons, Public Domain, Softwarelizenzen wie GPL). Ebenso kann die Anzahl der in der Trefferliste angezeigten Titel begrenzt werden (10, 20, 30, 50 oder 100).
Ergebnisanzeige Die Suchergebnisse werden in einer Liste ausgegeben, die standardmäßig nach Relevanz sortiert wird. Die Ermittlung der Relevanz erfolgt nach verschiedenen Kriterien, z. B. spielt es eine Rolle, ob der Suchbegriff im Titel oder nur an anderer Stelle vorkommt. Das vorgegebene Ranking kann jedoch verändert und eine benutzerdefinierte Sortierung nach Autor, Titel oder Erscheinungsjahr gewählt werden, optional auf- oder absteigend.
Das einzelne Suchergebnis enthält – soweit vorhanden – umfangreiche, qualifizierte Metadaten (z. B. neben Titel und Autor auch Schlagwörter, Verlag, Quelle, Sprache, Abstract, URL). In die Trefferanzeige integriert ist der
* Link zum Original-Dokument (Metadaten oder elektronischem Volltext),
* Link zu einer neuen Suchanfrage nach dem Autor,
* Link zum Datenlieferanten,
* Link zu einer Suchanfrage in Google Scholar (durch die Suche nach dem Titel in Google Scholar können mit ihm verknüpfte Zitationen oder verschiedene Versionen des Werkes gefunden werden),
* Link zum Export per E-Mail und in Literaturverwaltungsprogramme,
* Link zum Hinzufügen als Favorit im persönlichen Profil (mit Login).
Ist die Treffermenge zu umfangreich, kann sie auf Autor, Schlagwort, Dewey-Dezimalklassifikation, Erscheinungsjahr, Quelle, Sprache, Dokumentart, Zugang (Open Access / unbekannt) oder Nachnutzung (Lizenz) eingegrenzt werden. Es kann jeweils nur eine Option aus den Auswahlmenüs ausgewählt werden.
Außerdem werden die Suchanfragen der aktuellen Sitzung in einer Suchhistorie angezeigt, die jeweils neu abgesetzt werden können. Mit einem persönlichen Login können Suchanfragen auch dauerhaft gespeichert werden. Des Weiteren können Suchanfragen als RSS- oder Atom-Web-Feed abonniert werden, die Suchergebnisse können per E-Mail verschickt oder gespeichert werden. Für diese Funktionen ist ebenfalls ein persönliches Login notwendig.
Aus der Trefferliste heraus kann durch Änderung der aktuellen Suchfrage direkt eine neue Suche ausgelöst werden.

### Browsing

Neben der Suche bietet BASE auch ein Browsing nach Dewey-Dezimalklassifikation (DDC), Dokumentart, Nachnutzung / Lizenz und Zugang an. Die DDC der Dokumente wird auf zwei verschiedene Arten ermittelt: Zum einen werden bereits von einigen Datenquellen DDC-Nummern vergeben, die direkt in das Browsing übernommen werden. Zum anderen werden auch Dokumente innerhalb von BASE automatisch nachklassifiziert. Die dafür verwendete Technik wurde im Rahmen des DFG-geförderten Projekts „Automatische Anreicherung von OAI-Metadaten“ entwickelt.

## Eingestellte Projekte
### BASE DE

In einer eigenen Suchoberfläche konnte man gezielt in Quellen suchen, deren Dokumentenserver in Deutschland beheimatet sind. Damit sollte ein nationaler Nachweis von OAI-Metadaten ermöglicht werden. Die sogenannte „Deutschland-Sicht“ umfasste ca. 6.300.000 Dokumente aus über 250 Quellen.

### BASE Lab

BASE bot mit BASE Lab einen öffentlichen Testbereich an, in dem neue Funktionen erprobt werden konnten. Folgende Funktionen erschienen zuerst dort:
* Einsatz computerlinguistischer Verfahren zur automatischen Klassifikation von OAI-Metadaten im Rahmen des DFG-Projekts „Automatische Anreicherung von OAI-Metadaten mit Hilfe computerlinguistischer Verfahren und Entwicklung von Services für die inhaltsorientierte Vernetzung von Repositorien“.
* Aufbau eines Dienstes zur Bereitstellung aggregierter und normalisierter OAI-Metadaten
* Ausbau der Kennzeichnung von Open-Access-Dokumenten
* Höhergewichtung von Open-Access-Dokumenten

## Technische Grundlagen
### Suchmaschinentechnologie

Technische Basis ist die Suchmaschinentechnologie von Solr und VuFind. Sie ermöglicht
* den Einsatz von linguistischen Verfahren zur Optimierung von Suchanfragen (z. B. Lemmatisierung, Kompositazerlegung, Permutationen)
    Durch automatische Spracherkennung und Erzeugung von Wörterbüchern werden die Suchbegriffe auf weitere Wortformen (Plural, Genitiv) erweitert.
* Relevanz-Ranking der Suchergebnisse
    Die Relevanz wird durch einen in der Software enthaltenen Algorithmus ermittelt
* Nachträgliche Eingrenzung der Treffermenge nach bestimmten Kriterien (Autor, Schlagwort, Erscheinungsjahr, Quelle, Sprache und Dokumentart).

### Integration der Datenquellen

Die Daten werden über unterschiedliche Schnittstellen in die Suchmaschine eingebunden, nämlich über
* im Regelfall: OAI-Harvesting
    Metadaten ausgewählter OAI-Dokumentenserver werden über das Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH) eingebunden.
* in Sonderfällen: Web-Crawler
    Inhalte aus wissenschaftlichen Webseiten werden durch einen eigenen Webcrawler eingesammelt. Die hier ermittelten Volltextdaten werden auf enthaltene Metadaten hin analysiert.
Die überwiegend im Dublin-Core-Format eingesammelten Daten sind sehr heterogen und müssen deswegen vor dem Indexieren aufwändig normalisiert werden.

### Schnittstellen zu Fremdanbietern

BASE ermöglicht durch Links in den Trefferlisten die direkte Suche nach einzelnen Titeln in Google Scholar. Nutzt der Anwender BASE vor Ort in einer Bibliothek, können Links in den Google-Trefferlisten zum durch die Bibliothek angebotenen Volltext führen. Dies setzt die Konfiguration seitens der Bibliothek voraus.

### Schnittstellen zur Nachnutzung von BASE-Diensten und -Daten

BASE bietet mehrere Programmierschnittstellen an:
* Die Such- oder HTTP-Schnittstelle ist eine REST-API für die direkte Suche im BASE-Index via Solr. Die Nutzung ist kostenlos für nichtkommerzielle Vorhaben und setzt lediglich die Registrierung einer festen IP-Adresse voraus.
* Die OAI-PMH-API bietet Projektpartnern und ausgewählten nichtkommerziellen Projekten die Möglichkeit, die normalisierten BASE-Daten (oder thematische Ausschnitte) aktuell zu beziehen.
* Ohne Programmieraufwand realisierbar ist der Einbau eines HTML-Formulars als Suchbox zur Suche in BASE aus der eigenen Website heraus.

## Nachnutzer
### Einbindung in Fachportale

BASE ist in die Metasuche von mehreren deutschen Fachportalen eingebunden. Fachportal paedagogik.de, Germanistik im Netz, ilissAfrica, vifabio, Virtuelle Fachbibliothek medien buehne film und Livivo (ZB MED) binden entweder den vollständigen BASE-Index ein oder filtern die Suchanfrage nach einer Auswahl von Repositorien, die zum jeweiligen Fach passen. Da nicht nur klassische Hochschulschriftenserver, sondern auch Plattformen mit Digitalisaten von Fotos, Karten und anderen Quellenmaterialien geharvestet werden, öffnet BASE hier auch den Weg in Richtung Forschungsprimärdaten und virtuelle Forschungsumgebungen.

### Nutzung durch Open-Access-Dienste

BASE ist eine Primärquelle des Webdienstes dissem.in, der Autoren dabei hilft, eigene Fachpublikationen zu entdecken, die (noch) hinter einer Paywall verborgen sind, obwohl die Autoren sie frei zum Download anbieten dürften.
Auf ähnliche Weise nutzt der webbasierte Altmetrik-Dienst Impactstory BASE, um zu prüfen, ob es von einem Artikel eine frei verfügbare Version im Sinne des grünen Wegs zum Open Access gibt.
Der alternative DOI-Resolver doai.io und oadoi.org nutzen BASE, um frei verfügbare Versionen (z. B. Preprints/Eprints) von Artikeln zu finden, die ansonsten nur gegen Bezahlung oder mit einer Campuslizenz verfügbar sind.
Das Browser-Plugin Unpaywall nutzt BASE-Daten, um beim Aufruf akademischer Bezahlschranken einen Link zu einer legalen kostenlosen Fassung desselben Werks einzublenden (falls vorhanden).

### Nutzung durch Discovery Services

Seit Dezember 2015 bindet der EBSCO Discovery Service (EDS) die von BASE gesammelten und aufbereiteten Daten in seinen Dienst ein.

### Nutzung durch andere Suchmaschinen

BASE ist eine per Voreinstellung aktive Quelle der nicht-kommerziellen deutschen Metasuchmaschine MetaGer und (seit Mitte 2016) der Metasuchmaschinen etools.ch (optional) und Searx (im Science-Tab). Auch die bibliographische Metasuche Karlsruher Virtueller Katalog kann BASE durchsuchen.

## Vergleichbare Angebote

Ein ähnliches Angebot wie BASE bieten das britische CORE (COnnecting REpositories) und das ursprünglich von der University of Michigan entwickelte OAIster (heute Teil von OCLC). Beide sind vom Umfang her aber deutlich kleiner. Vergleichbare kommerzielle Suchmaschinen mit wissenschaftlichem Zuschnitt – aber geringerer Metadatenqualität – sind Google Scholar und Microsoft Academic Search.