Procedía de una familia de famosos arquitectos, pues era hijo de George Gilbert Scott (junior) y nieto de Sir George Gilbert Scott, sobrino de John Oldrid Scott y hermano de Adrian Gilbert Scott.