その後、幕命によって鹿島藩が正式に預かることとなり、代々継承して幕末に至ったという(「榮城」)。