Rubbra, som kom fra enkle kår, viste tidlig musikalske evner og mottok undervisning i pianospill fra han var 8 år. Han sluttet på skolen 14 år gammel og arbeidet senere som kontoransatt ved en jernbanestasjon. Som 17-åring arrangerte han en konsert i Northampton, der han fremførte verker av Cyril Scott, som deretter mottok ham som elev. Etter studier ved University of Reading og Royal College of Music livnærte han seg ved å undervise, akkompagnere og skrive om musikk. På denne tiden knyttet han vennskap med den jevnaldrende komponisten Gerald Finzi. Fra 1947 til 1968 underviste Rubbra ved Worcester College, University of Oxford. Fra 1961 til 1974 var han dessuten professor i komposisjon ved Guildhall School of Music and Drama. Rubbras produksjon som komponist omfatter 164 verker med opustall. Foruten symfonier og strykekvartetter komponerte han messer og annen katolsk kirkemusikk. Musikken hans er tonal og påvirket av engelsk renessansemusikk. De elleve symfoniene ble spilt inn på CD av Richard Hickox etter Rubbras død.