GNU Bison

Yacc

GNU Bison oppstod som en avlegger av Yacc – Yet Another Compiler Compiler. Yacc ble laget i 1971 av Stephen C. Johnson ved Bell Laboratories innenfor AT&T Corporation. Yacc ble opprinnelig skrevet i programmeringsspråket B på en 36-biter stormaskin av typen Ge-635 fra General Electric, men ble raskt skrevet på nytt i C.
Yacc var i sin tur etterfølgeren til parsergeneratoren TMG (TransMoGrifier), som ble laget i 1964 for Multics, OS/360 og tidlige versjoner av UNIX. TMG ble i 1964 brukt til å utvikle EPL, som var en tidlig versjon av PL/I. I 1969 brukte Ken Thompson TMG for å lage programmeringsspråket B, og i 1970 brukte han også denne parsergeneratoren som et verktøy til å utvikle en Fortrankompilator på 18-biter minidatamaskinen PDP-7. TMG genererte rekursivt descendant parsere som er et særtilfelle av ovenfra-ned-parsere, mens Yacc genererte LALR-parsere.
Yacc var en del av den tidlige utviklingen av UNIX, og ble en del av Unix versjon 3 som ble lansert i februar 1973. Yacc hadde stor betydning i utbredelsen av UNIX, ved at det ble brukt til å generere parsere for operativsystemet. Yacc ble brukt til utviklingen av Portable C Compiler (pcc) på midten av 1970-tallet. Stephen C. Johnson var opphavsmannen til både Yacc og pcc. En full beskrivelse av Yacc ble publisert i juli 1975. Yacc blir noen ganger skrevet YACC (med store bokstaver), men opphavsmannen brukte navneformen Yacc (med små bokstaver), deriblant i beskrivelsen som er gitt i Version 7 Unix Manual i januar 1979.
Omkring 1990 kom Yacc mer eller mindre ut av bruk, fordi andre parsergeneratorer med mindre restriktive lisenser og flere egenskaper var blitt tilgjengelige. I 2002 gjorde Caldera International kildekoden til Yacc på gamle versjoner av Unix – fra UNIX versjon 7 til UNIX/32V, åpent tilgjengelig. På denne tiden hadde Yacc lenge vært erstattet av GNU Bison selv på Yacc’s egne Unix-varianter.
Prefikset ya- (Yet Another) levde sitt eget liv lenge etter at Yacc kom ut av bruk. Et eksempel er Yahoo! (Yet Another Hierarchical Officious Oracle), som er navnet på et IT-selskap som ble opprettet i California i 1994. Et annet eksempel er installerings- og konfigureringsverktøyet YaST (Yet another Setup Tool) på SUSE Linux som ble lansert i 1996.

yacchack

Yacc manglet evnen til å produsere innadgående parsere. Dette ble ordnet ved et sett med modifikasjoner, kalt yacchack, som ble publisert av Eric S. Raymond på USENET omkring 1983. Disse utvidelsene ble overflødige da parsergeneratorene zoo og Berkeley Yacc ble tilgjengelige noen få år senere.

Berkeley Yacc

Parsergeneratoren zoo ble skapt i 1985 av Robert Corbett ved University of California, Berkeley. Den 2. september 1989 skiftet den navn til Berkeley Yacc (byacc).
Berkeley Yacc hadde tre fordeler over den opprinnelige Yacc: Den genererte raskere parsere, den kunne generere innadgående parsere, og kildekoden var offentlig eiendom i stedet for å være under en proprietær lisens fra AT&T. Den forbedrede ytelsen oppstod ved å implementere teknikker som Franklin DeRemer og Thomas Penello hadde beskrevet i deres avhandling om LALR-parsere fra 1982.
Bruken av byacc spredte seg raskt på grunn av dens liberale lisens. Da GNU Bison ble tilgjengelig, gikk likevel byacc ut av offentlig bruk.

GNU Bison

Robert Corbett laget to beslektede LALR-parsergeneratorer i 1985, som begge benyttet teknikkene til DeRemer og Penello. Den ene var zoo, den andre var Byson. I 1987 begynte Richard Stallman å arbeide med Byson; han endret navnet til Bison og gjorde grensesnittet kompatibelt med Yacc.
Til forskjell fra Yacc, støttet Byson konstruksjonen @n. Denne ga tilgang til det innledende og det avsluttende linjenummer og til antall tegn knyttet til alle symbolene i den gjeldende regel. Kommandoen %expect n sa at konflikter ikke skulle nevnes hvis der er n skift/reduser konflikter og ingen reduser/reduser konflikter. I nyere versjoner av Bison, kan %expect og varianten %expect-rr anvendes på individuelle regler med reduser-reduser konflikter.
Senere versjoner av Bison tilføyde mange flere egenskaper, deriblant bedre feilmeldinger. Av disse kan vi merke oss at Yacc og Byson manglet tegnet ^ i feilmeldinger.
Sammenlignet med Yacc benytter Bison en raskere men mindre plass-effektiv koding for parsertabellene. og mer moderne teknikker for generering av mengden av lookahead. Dette har vært standard siden første versjon. Det har vært påstått at disse forskjeller stammer fra den temporære løsning som Johnson måtte benytte for å få den opprinnelige Yacc til å passe på 16-biter minidatamaskinen PDP-11.
Navngitte referanser, semantiske predikater, %locations, %glr-parser, %printer, %destructor, dumping av avfall til DOT, %parse-param, %lex-param, og dumping av avfall til XSLT, LAC og generering av IELR(1)-parsere er nytt i Bison. 
Bison har også mange egenskaper for å støtte C++ som ikke var nærværende i Yacc eller Byson.
Alle tidligere Yacc-varianter, og lignende parsergeneratorer som genererte C-kode, ble gjort foreldet av Bison i 1995.

PLY, goyacc og ocamlyacc

Yacc-konseptet har ofte blitt portert til andre programmeringsspråk. Noen av de tidligere porteringer er opphørt å eksistere sammen med språkene som ble brukt på dem; andre har blitt erstattet av parserskjeletter som leveres sammen med Bison. 
Det finnes også uavhengige implementasjoner, deriblant David Beazley’s PLY (Python Lex-Yacc) for Python, goyacc for programmeringsspråket Go og Ocamlyacc for Objective Caml.

Eksempelprogram: Kalkulator

Følgende eksempel viser hvordan GNU Bison og Flex kan brukes til å lage et enkelt kalkulatorprogram (kun addisjon og multiplikasjon) og et program for å skape et abstrakt syntakstre. De to neste filene sørger for definisjoner og implementasjon av syntakstreets funksjoner.

Expression.h

/* * Expression.h * Definisjon av strukturen brukt til å bygge syntakstreet. */#ifndef __EXPRESSION_H__#define __EXPRESSION_H__/** * Operasjonstyper */typedef enum tagEOperationType{
    eVALUE,
    eMULTIPLY,
    ePLUS} EOperationType;/** * Uttrykks-struktur */typedef struct tagSExpression{
    EOperationType type;///< typen av operasjon

    int value;///< gyldig bare hvis typen er eVALUE
    struct tagSExpression *left; ///< venstre side av treet
    struct tagSExpression *right;///< høyre side av treet} SExpression;/** * Skapelse av en identifikator * Parameteren er tallverdien * Funksjonen returnerer uttrykket eller NULL hvis det ikke er nok minne */SExpression *createNumber(int value);/** * Skapelse av en operasjon * Parameteren "type" definerer operasjonstype * Parameteren "left" definerer venstre operand * Parameteren "right" definerer høyre operand * Funksjonen returnerer uttrykket eller NULL hvis det ikke er nok minne */SExpression *createOperation(EOperationType type, SExpression *left, SExpression *right);/** * Sletter et uttrykk * Parameteren b er uttrykket */void deleteExpression(SExpression *b);#endif // __EXPRESSION_H__

Expression.c

/* * Expression.c * Implementasjon av funksjoner til å bygge syntakstreet. */#include "Expression.h"#include <stdlib.h>/** * Allokerer plass for uttrykket * Funksjonen returnerer uttrykket eller NULL hvis det ikke er nok minne */static SExpression *allocateExpression(){
    SExpression *b = (SExpression *)malloc(sizeof(SExpression));

    if (b == NULL)
        return NULL;

    b->type = eVALUE;
    b->value = 0;

    b->left = NULL;
    b->right = NULL;

    return b;}SExpression *createNumber(int value){
    SExpression *b = allocateExpression();

    if (b == NULL)
        return NULL;

    b->type = eVALUE;
    b->value = value;

    return b;}SExpression *createOperation(EOperationType type, SExpression *left, SExpression *right){
    SExpression *b = allocateExpression();

    if (b == NULL)
        return NULL;

    b->type = type;
    b->left = left;
    b->right = right;

    return b;}void deleteExpression(SExpression *b){
    if (b == NULL)
        return;

    deleteExpression(b->left);
    deleteExpression(b->right);

    free(b);}

Lexer.l

Token som behøves av parseren vil bli generert av Flex.
%{
 
/* * Lexer.l filen * For å generere den leksikalske analysator kjøres "flex Lexer.l" */
 
#include "Expression.h"#include "Parser.h"#include <stdio.h>
 
%}%option outfile="Lexer.c" header-file="Lexer.h"%option warn nodefault
 
%option reentrant noyywrap never-interactive nounistd%option bison-bridge
 
LPAREN      "("RPAREN      ")"PLUS        "+"MULTIPLY    "*"
 
NUMBER      [0-9]+WS          [ \r\n\t]*
 
%%
 
{WS}            { /* Fjern blanke tegn. */ }{NUMBER}        { sscanf(yytext, "%d", &yylval->value); return TOKEN_NUMBER; }
 
{MULTIPLY}      { return TOKEN_MULTIPLY; }{PLUS}          { return TOKEN_PLUS; }{LPAREN}        { return TOKEN_LPAREN; }{RPAREN}        { return TOKEN_RPAREN; }.               {  }
 
%%
 
int yyerror(const char *msg) {
    fprintf(stderr,"Error:%s\n",msg); return 0;}

Parser.y

Ettersom de ulike token er produsert av Flex må det være en kommunikasjon mellom parseren og den leksikalske analysatoren. Datatypen som brukes til kommunikasjon, YYSTYPE, er satt til bruke Bisons %union deklarasjon.
Vi må også sørge for parametere til yylex-funksjonen, når den kalles fra yyparse. Dette blir gjort gjennom Bison's %lex-param og %parse-param deklarasjoner.
%{
 
/* * Parser.y file * For å generere parseren, kjør "bison Parser.y" */
 
#include "Expression.h"#include "Parser.h"#include "Lexer.h"int yyerror(SExpression **expression, yyscan_t scanner, const char *msg) {
    // Feilhåndteringsrutiner}
 
%}%code requires {#ifndef YY_TYPEDEF_YY_SCANNER_T#define YY_TYPEDEF_YY_SCANNER_Ttypedef void* yyscan_t;#endif}%output  "Parser.c"%defines "Parser.h"
 
%define api.pure%lex-param   { yyscan_t scanner }%parse-param { SExpression **expression }%parse-param { yyscan_t scanner }%union {
    int value;
    SExpression *expression;}
 
%left '+' TOKEN_PLUS%left '*' TOKEN_MULTIPLY
 
%token TOKEN_LPAREN%token TOKEN_RPAREN%token TOKEN_PLUS%token TOKEN_MULTIPLY%token <value> TOKEN_NUMBER%type <expression> expr
 
%%
 
input
    : expr { *expression = $1; }
    ;
 
expr
    : expr[L] TOKEN_PLUS expr[R] { $$ = createOperation( ePLUS, $L, $R ); }
    | expr[L] TOKEN_MULTIPLY expr[R] { $$ = createOperation( eMULTIPLY, $L, $R ); }
    | TOKEN_LPAREN expr[E] TOKEN_RPAREN { $$ = $E; }
    | TOKEN_NUMBER { $$ = createNumber($1); }
    ;
 
%%

Main.c

Den følgende koden skaper syntakstreet ved å bruke parseren generert av Bison og den leksikalske analysator som er generert av Flex.
/* * main.c file */#include "Expression.h"#include "Parser.h"#include "Lexer.h"
 
#include <stdio.h>
 
int yyparse(SExpression **expression, yyscan_t scanner);
 
SExpression *getAST(const char *expr){
    SExpression *expression;
    yyscan_t scanner;
    YY_BUFFER_STATE state;
 
    if (yylex_init(&scanner)) {
        // couldn't initialize
        return NULL;
    }
 
    state = yy_scan_string(expr, scanner);
 
    if (yyparse(&expression, scanner)) {
        // error parsing
        return NULL;
    }
 
    yy_delete_buffer(state, scanner);
 
    yylex_destroy(scanner);
 
    return expression;}
 
int evaluate(SExpression *e){
    switch (e->type) {
        case eVALUE:
            return e->value;
        case eMULTIPLY:
            return evaluate(e->left) * evaluate(e->right);
        case ePLUS:
            return evaluate(e->left) + evaluate(e->right);
        default:
            // shouldn't be here
            return 0;
    }}
 
int main(void){
    SExpression *e = NULL;
    char test[]=" 4 + 2*10 + 3*( 5 + 1 )";
    int result = 0;
 
    e = getAST(test);
 
    result = evaluate(e);
 
    printf("Result of '%s' is %d\n", test, result);
 
    deleteExpression(e);
 
    return 0;}

Makefile

Til slutt en makefil som bygger prosjektet.
# MakefileFILES= Lexer.c Parser.c Expression.c main.c
CC= g++
CFLAGS= -g -ansi

test:$(FILES)
$(CC) $(CFLAGS) $(FILES) -o testLexer.c:Lexer.l 
flex Lexer.l

Parser.c:Parser.y Lexer.c
bison Parser.y

clean:
rm -f *.o *~ Lexer.c Lexer.h Parser.c Parser.h test