Lord Ryeburn glömde aldrig sin sons mor.