GNU Bison

GNU Bison er en fri og åpen parsergenerator for Unix og Unix-liknende operativsystemer. GNU Bison inngår i GNU-prosjektet og er tilgjengelig under GNU General Public License versjon 3, med unntak som tillater den genererte kode å bli brukt uten lisensen copyleft.

GNU Bison leser en spesifikasjon i en kontekstfri grammatikk, advarer mot tvetydigheter og genererer en parser i C, C++ eller Java. Parseren leser sekvensen av token og bestemmer hvorvidt sekvensen følger syntaksen som er spesifisert av grammatikken. Den genererte parser er plattformuavhengig, og er ikke avhengig av noen spesifikk kompilator. GNU Bison genererer LALR-parsere som standard, men kan også generere LR(1)-, IELR(1)- og GLR-parsere. Flex, som genererer leksikalske analysatorer, kan dele strømmen av innmatede data opp i token før de behandles av GNU Bison.

GNU Bison ble skapt i 1988 av Robert Corbett fra University of Berkeley; den 2. september 1989 lanserte han også parsergeneratoren Berkeley Yacc, og GNU Bison ble påvirket mye av tidligere versjoner av Berkeley Yacc. Richard Stallman gjorde programmet kompatibelt med POSIX og Yacc, men det har flere forbedringer i forhold til Yacc. Versjon 3.8.2 ble lansert 25. september 2021.

Historie

Yacc

GNU Bison oppstod som en avlegger av Yacc – Yet Another Compiler Compiler. Yacc ble laget i 1971 av Stephen C. Johnson ved Bell Laboratories innenfor AT&T Corporation. Yacc ble opprinnelig skrevet i programmeringsspråket B på en 36-biter stormaskin av typen Ge-635 fra General Electric, men ble raskt skrevet på nytt i C.

Yacc var i sin tur etterfølgeren til parsergeneratoren TMG (TransMoGrifier), som ble laget i 1964 for Multics, OS/360 og tidlige versjoner av UNIX. TMG ble i 1964 brukt til å utvikle EPL, som var en tidlig versjon av PL/I. I 1969 brukte Ken Thompson TMG for å lage programmeringsspråket B, og i 1970 brukte han også denne parsergeneratoren som et verktøy til å utvikle en Fortrankompilator på 18-biter minidatamaskinen PDP-7. TMG genererte rekursivt descendant parsere som er et særtilfelle av ovenfra-ned-parsere, mens Yacc genererte LALR-parsere.

Yacc var en del av den tidlige utviklingen av UNIX, og ble en del av Unix versjon 3 som ble lansert i februar 1973. Yacc hadde stor betydning i utbredelsen av UNIX, ved at det ble brukt til å generere parsere for operativsystemet. Yacc ble brukt til utviklingen av Portable C Compiler (pcc) på midten av 1970-tallet. Stephen C. Johnson var opphavsmannen til både Yacc og pcc. En full beskrivelse av Yacc ble publisert i juli 1975. Yacc blir noen ganger skrevet YACC (med store bokstaver), men opphavsmannen brukte navneformen Yacc (med små bokstaver), deriblant i beskrivelsen som er gitt i Version 7 Unix Manual i januar 1979.

Omkring 1990 kom Yacc mer eller mindre ut av bruk, fordi parsergeneratorer med mindre restriktive lisenser og flere egenskaper var blitt tilgjengelige. I 2002 gjorde Caldera International kildekoden til Yacc på gamle versjoner av Unix – fra UNIX versjon 7 til UNIX/32V, åpent tilgjengelig. På denne tiden hadde Yacc lenge vært erstattet av GNU Bison selv på Yacc’s egne Unix-varianter.

Prefikset ya- (Yet Another) levde sitt eget liv lenge etter at Yacc kom ut av bruk. Et eksempel er Yahoo! (Yet Another Hierarchical Officious Oracle), som er navnet på et IT-selskap som ble opprettet i California i 1994. Et annet eksempel er installerings- og konfigureringsverktøyet YaST (Yet another Setup Tool) på SUSE Linux som ble lansert i 1996.

yacchack
Yacc manglet evnen til å produsere innadgående parsere. Dette ble ordnet ved et sett med modifikasjoner, kalt yacchack, som ble publisert av Eric S. Raymond på USENET omkring 1983. Disse utvidelsene ble overflødige da parsergeneratorene zoo og Berkeley Yacc ble tilgjengelige noen få år senere.

Berkeley Yacc

Parsergeneratoren zoo ble skapt i 1985 av Robert Corbett ved University of California, Berkeley. Den 2. september 1989 skiftet den navn til Berkeley Yacc (byacc).

Berkeley Yacc hadde tre forbedringer i forhold til Yacc: Den genererte raskere parsere, den kunne generere innadgående parsere, og kildekoden var offentlig eiendom i stedet for å være under en proprietær lisens fra AT&T. Forbedret ytelse oppstod ved å implementere teknikker som Franklin DeRemer og Thomas Penello hadde beskrevet i deres avhandling om LALR-parsere fra 1982.

Bruken av byacc spredte seg raskt på grunn av dens liberale lisens. Da GNU Bison ble tilgjengelig, gikk likevel byacc ut av offentlig bruk.

zoo, Byson og GNU Bison
Robert Corbett laget to beslektede LALR-parsergeneratorer i 1985, som begge benyttet teknikkene til DeRemer og Penello. Den ene var zoo, den andre var Byson. I 1987 begynte Richard Stallman å arbeide med Byson; han endret navnet til Bison og gjorde grensesnittet kompatibelt med Yacc.

Til forskjell fra Yacc, støttet Byson konstruksjonen @n. Denne ga tilgang til det innledende og det avsluttende linjenummer og til antall tegn knyttet til alle symbolene i den gjeldende regel. Kommandoen %expect n sa at konflikter ikke skulle nevnes hvis der er n skift/reduser konflikter og ingen reduser/reduser konflikter. I nyere versjoner av Bison, kan %expect og varianten %expect-rr anvendes på individuelle regler med reduser-reduser konflikter.

Senere versjoner av Bison tilføyde mange flere egenskaper, deriblant bedre feilmeldinger. Av disse kan vi merke oss at Yacc og Byson manglet tegnet ^ i feilmeldinger.

Sammenlignet med Yacc benytter Bison en raskere men mindre plass-effektiv koding for parsertabellene. og mer moderne teknikker for generering av mengden av lookahead. Dette har vært standard siden første versjon. Det har vært påstått at disse forskjeller stammer fra den temporære løsning som Johnson måtte benytte for å få den opprinnelige Yacc til å passe på 16-biter minidatamaskinen PDP-11.

Navngitte referanser, semantiske predikater, %locations, %glr-parser, %printer, %destructor, dumping av avfall til DOT, %parse-param, %lex-param, og dumping av avfall til XSLT, LAC og generering av IELR(1)-parsere er nytt i Bison. 

Bison har også egenskaper for å støtte C++ som manglet i Yacc og Byson.

Alle tidligere Yacc-varianter, og lignende parsergeneratorer som genererte C-kode, ble gjort foreldet av Bison i 1995.

PLY, goyacc og ocamlyacc
Yacc-konseptet har ofte blitt portert til andre programmeringsspråk. Noen av de tidligere porteringer er opphørt å eksistere sammen med språkene som ble brukt på dem; andre har blitt erstattet av parserskjeletter som leveres sammen med Bison. 

Det finnes også uavhengige implementasjoner, deriblant David Beazley’s PLY (Python Lex-Yacc) for Python, goyacc for programmeringsspråket Go og Ocamlyacc for Objective Caml.

Operativsystemer
GNU Bison har blitt portert til blant annet følgende operativsystemer:

Programvare generert ved hjelp av GNU Bison
Eksempler på programmeringsspråk og annen programvare som er generert ved hjelp av GNU Bison:

 Ruby
 PHP
 Go
 GNU Octave
 GNU Pascal
 GNU CHILL i versjon 2.95 av GCC
 C++ i GNU Compiler Collection (GCC) forut for versjon 3.4 som utkom den 18. april 2004
 GNU Ada i GCC forut for versjon 3.4
 GNU Fortran i GCC forut for versjon 3.4
 GNU Java forut for versjon 3.4
 C og Objective C i GCC forut for versjon 4.1 som utkom den 28. februar 2006
 Perl 5 versjon 5.10 eller høyere
 Unix-skallet og kommandospråket Bash
 Noteprogrammet LilyPond
 Structured Query Language (SQL) i databasene PostgreSQL, MySQL og MariaDB.

Eksempelprogram: Kalkulator
Følgende eksempel viser hvordan GNU Bison og Flex kan brukes til å lage et enkelt kalkulatorprogram (kun addisjon og multiplikasjon) og et program for å skape et abstrakt syntakstre. De to neste filene sørger for definisjoner og implementasjon av syntakstreets funksjoner.

Expression.h
/*
 * Expression.h
 * Definisjon av strukturen brukt til å bygge syntakstreet. */
#ifndef __EXPRESSION_H__
#define __EXPRESSION_H__

/**
 * Operasjonstyper
 */
typedef enum tagEOperationType
{
    eVALUE,
    eMULTIPLY,
    ePLUS
} EOperationType;

/**
 * Uttrykks-struktur
 */
typedef struct tagSExpression
{
    EOperationType type;///< typen av operasjon

    int value;///< gyldig bare hvis typen er eVALUE
    struct tagSExpression *left; ///< venstre side av treet
    struct tagSExpression *right;///< høyre side av treet
} SExpression;

/**
 * Skapelse av en identifikator
 * Parameteren er tallverdien
 * Funksjonen returnerer uttrykket eller NULL hvis det ikke er nok minne
 */
SExpression *createNumber(int value);

/**
 * Skapelse av en operasjon
 * Parameteren "type" definerer operasjonstype
 * Parameteren "left" definerer venstre operand
 * Parameteren "right" definerer høyre operand
 * Funksjonen returnerer uttrykket eller NULL hvis det ikke er nok minne
 */
SExpression *createOperation(EOperationType type, SExpression *left, SExpression *right);

/**
 * Sletter et uttrykk
 * Parameteren b er uttrykket
 */
void deleteExpression(SExpression *b);

#endif // __EXPRESSION_H__

Expression.c
/*
 * Expression.c
 * Implementasjon av funksjoner til å bygge syntakstreet.
 */

#include "Expression.h"

#include <stdlib.h>

/**
 * Allokerer plass for uttrykket
 * Funksjonen returnerer uttrykket eller NULL hvis det ikke er nok minne
 */
static SExpression *allocateExpression()
{
    SExpression *b = (SExpression *)malloc(sizeof(SExpression));

    if (b == NULL)
        return NULL;

    b->type = eVALUE;
    b->value = 0;

    b->left = NULL;
    b->right = NULL;

    return b;
}

SExpression *createNumber(int value)
{
    SExpression *b = allocateExpression();

    if (b == NULL)
        return NULL;

    b->type = eVALUE;
    b->value = value;

    return b;
}

SExpression *createOperation(EOperationType type, SExpression *left, SExpression *right)
{
    SExpression *b = allocateExpression();

    if (b == NULL)
        return NULL;

    b->type = type;
    b->left = left;
    b->right = right;

    return b;
}

void deleteExpression(SExpression *b)
{
    if (b == NULL)
        return;

    deleteExpression(b->left);
    deleteExpression(b->right);

    free(b);
}

Lexer.l
Token som behøves av parseren vil bli generert av Flex.

%{
 
/*
 * Lexer.l filen
 * For å generere den leksikalske analysator kjøres "flex Lexer.l"
 */
 
#include "Expression.h"
#include "Parser.h"

#include <stdio.h>
 
%}

%option outfile="Lexer.c" header-file="Lexer.h"
%option warn nodefault
 
%option reentrant noyywrap never-interactive nounistd
%option bison-bridge
 
LPAREN      "("
RPAREN      ")"
PLUS        "+"
MULTIPLY    "*"
 
NUMBER      [0-9]+
WS          [ \r\n\t]*
 
%%
 
{WS}            { /* Fjern blanke tegn. */ }
{NUMBER}        { sscanf(yytext, "%d", &yylval->value); return TOKEN_NUMBER; }
 
{MULTIPLY}      { return TOKEN_MULTIPLY; }
{PLUS}          { return TOKEN_PLUS; }
{LPAREN}        { return TOKEN_LPAREN; }
{RPAREN}        { return TOKEN_RPAREN; }
.               {  }
 
%%
 
int yyerror(const char *msg) {
    fprintf(stderr,"Error:%s\n",msg); return 0;
}

Parser.y
Ettersom de ulike token er produsert av Flex må det være en kommunikasjon mellom parseren og den leksikalske analysatoren. Datatypen som brukes til kommunikasjon, YYSTYPE, er satt til bruke Bisons %union deklarasjon.

Vi må også sørge for parametere til yylex-funksjonen, når den kalles fra yyparse. Dette blir gjort gjennom Bison's %lex-param og %parse-param deklarasjoner.

%{
 
/*
 * Parser.y file
 * For å generere parseren, kjør "bison Parser.y"
 */
 
#include "Expression.h"
#include "Parser.h"
#include "Lexer.h"

int yyerror(SExpression **expression, yyscan_t scanner, const char *msg) {
    // Feilhåndteringsrutiner
}
 
%}

%code requires {

#ifndef YY_TYPEDEF_YY_SCANNER_T
#define YY_TYPEDEF_YY_SCANNER_T
typedef void* yyscan_t;
#endif

}

%output  "Parser.c"
%defines "Parser.h"
 
%define api.pure
%lex-param   { yyscan_t scanner }
%parse-param { SExpression **expression }
%parse-param { yyscan_t scanner }

%union {
    int value;
    SExpression *expression;
}
 
%left '+' TOKEN_PLUS
%left '*' TOKEN_MULTIPLY
 
%token TOKEN_LPAREN
%token TOKEN_RPAREN
%token TOKEN_PLUS
%token TOKEN_MULTIPLY
%token <value> TOKEN_NUMBER

%type <expression> expr
 
%%
 
input
    : expr { *expression = $1; }
    ;
 
expr
    : expr[L] TOKEN_PLUS expr[R] { $$ = createOperation( ePLUS, $L, $R ); }
    | expr[L] TOKEN_MULTIPLY expr[R] { $$ = createOperation( eMULTIPLY, $L, $R ); }
    | TOKEN_LPAREN expr[E] TOKEN_RPAREN { $$ = $E; }
    | TOKEN_NUMBER { $$ = createNumber($1); }
    ;
 
%%

Main.c
Den følgende koden skaper syntakstreet ved å bruke parseren generert av Bison og den leksikalske analysator som er generert av Flex.

/*
 * main.c file
 */

#include "Expression.h"
#include "Parser.h"
#include "Lexer.h"
 
#include <stdio.h>
 
int yyparse(SExpression **expression, yyscan_t scanner);
 
SExpression *getAST(const char *expr)
{
    SExpression *expression;
    yyscan_t scanner;
    YY_BUFFER_STATE state;
 
    if (yylex_init(&scanner)) {
        // couldn't initialize
        return NULL;
    }
 
    state = yy_scan_string(expr, scanner);
 
    if (yyparse(&expression, scanner)) {
        // error parsing
        return NULL;
    }
 
    yy_delete_buffer(state, scanner);
 
    yylex_destroy(scanner);
 
    return expression;
}
 
int evaluate(SExpression *e)
{
    switch (e->type) {
        case eVALUE:
            return e->value;
        case eMULTIPLY:
            return evaluate(e->left) * evaluate(e->right);
        case ePLUS:
            return evaluate(e->left) + evaluate(e->right);
        default:
            // shouldn't be here
            return 0;
    }
}
 
int main(void)
{
    SExpression *e = NULL;
    char test[]=" 4 + 2*10 + 3*( 5 + 1 )";
    int result = 0;
 
    e = getAST(test);
 
    result = evaluate(e);
 
    printf("Result of '%s' is %d\n", test, result);
 
    deleteExpression(e);
 
    return 0;
}

Makefil
Til slutt en makefil som bygger prosjektet.

# Makefile

FILES	= Lexer.c Parser.c Expression.c main.c
CC	= g++
CFLAGS	= -g -ansi

test:		$(FILES)
		$(CC) $(CFLAGS) $(FILES) -o test

Lexer.c:	Lexer.l 
		flex Lexer.l

Parser.c:	Parser.y Lexer.c
		bison Parser.y

clean:
		rm -f *.o *~ Lexer.c Lexer.h Parser.c Parser.h test

Versjonshistorikk

Referanser

Litteratur

Eksterne lenker 
 
  Omtale i Free Software Directory
  Forklaring av C-parsere som er generert av GNU Bison
  C Parser With Bison, hos github-com
  How to download and install Bison (GNU Parser Generator) on Linux (Geeks Worldwide)
  GNU Bison for Microsoft Windows (versjon 2.4.1)

GNU
UC Berkeley
Unix-programmer
Linux-programmer
AIX
IRIX
Programvare for Solaris
Plan 9
Slackware
Debian
Ubuntu
Red Hat Linux
Programvare for Fedora
Programvare for Red Hat Enterprise Linux
Gentoo
SUSE Linux
Arch Linux
Mandriva
FreeBSD
OpenBSD
DragonFly BSD
Windows-programmer
Parsergeneratorer
Programvare fra 1988
1988 i USA