Festivalen ble grunnlagt i 1948 av den engelske komponisten Benjamin Britten, sangeren Peter Pears og librettist/produsent Eric Crozier. Deres arbeid med English Opera Group (som de grunnla sammen med designer John Piper i 1947) førte til jevnlig reisevirksomhet. Under en turné i Sveits med operaene og foreslo Peter Pears å starte en festival: "Hvorfor ikke starte vår egen festival? En liten festival hvor venner holder noen få konserter? Hva med en festival i Aldeburgh?" English Opera Group skulle tilby et kjerneprogram av operaproduksjoner, men det ble også åpnet for diktlesning, litteratur, drama og kunstutstillinger.