Родился 25 мая 1803 года на улице Бейкер-стрит в Лондоне. Был младшим сыном генерала Вильяма Эрла Литтона. Семейство Литтонов было из Норфолка. Сама фамилия «Бульвер» (ранние формы — Больвер и Больверк) имеет скандинавское происхождение. Фамилия эта была известна в Англии еще до нормандского завоевания: об этом говорит топоним Бульверхит; предположительно, что здесь высаживался предводитель данов Бульвер. Родословная писателя также брала начало в период вторжения норманнов, когда поместье в Норфолке было дано Айером де Валенсом Турольду Бульверу за то, что последний проявил доблесть, сражаясь при Гастингсе. Дед Бульвера женился на наследнице графов Хейден-холла, который стал основной резиденцией семьи. Отец писателя женился в 1798 году на Элизабет Литтон, которая была наследницей Робизонов и Литтонов. В их браке родилось трое сыновей. Первый, старший Вильям, унаследовал земли отца в Норфолке; Генри, который отличился на дипломатической службе, получил титул лорда Даллинга.