لاولیس در ۱۰ دسامبر ۱۸۱۵ به عنوان تنها فرزند قانونی لرد جورج بایرون و اَن ایزابلا نوئل زاده شد. بقیه فرزندان لرد بایرون خارج از چهارچوب ازدواج و از زنان دیگر متولد شده بودند. بایرون یک ماه پس از تولد اِیدا از نوئل جدا شد و چهار ماه بعد برای همیشه انگلستان را ترک کرد و سرانجام به دلیل یک بیماری در جنگ استقلال یونان درگذشت. آن هنگام اِیدا هشت سال داشت. مادر اِیدا از لرد بایرن که به شعر علاقه‌مند بود کینه دار ماند و علاقه اِیدا را برای ریاضیات و منطق را تشویق کرد و سعی کرد مانع پرورش آنچه او دیوانگی پدرش می‌پنداشت شد ولی علی‌رغم این موضوع اِیدا علاقه‌مند پدرش در شعر باقی ماند.