The grandmother that Lord Byron refers to in this quote was Lady Noel, Lady Byron's mother, who was indeed much more in daily contact with Ada than was her mother.
Ang lola na Panginoon Byron ay tumutukoy sa sa quote na ito ay Ina Noel, Ina Byron ng ina, na sa katunayan ay marami pa sa pang araw-araw na makipag-ugnayan sa Ada kaysa noon ay ang kanyang ina.