协会成立于1934年，并在1940年透过英皇乔治六世颁授皇家特许状而取得法团地位。协会的30名董事会成员，其中六名由政府委任，且接受政府的资助。可是，吕卫伦接任会长的时候，正值英国文化协会的低潮，在1960年代，由于政府削减资助等原因，协会被迫先后结束在缅甸、斐济、加勒比海和非洲及中东部份地区的工作，并将协会的服务对象逐步缩窄至西欧地区，工作性质也限制到只有艺术、科学和科技领域的交流层面，使协会的规模不断萎缩。加上协会一直依赖政府资助，同时又开支繁浩，因此广为诟病，被舆论批评为「大白象」和不符成本效益。