彦根藩主の十四男として生まれた井伊直弼は5歳のとき母を失い、17歳のとき隠居していた父井伊直中（11代藩主）が亡くなり、弟の井伊直恭とともにこの控え屋敷（尾末町御屋敷、北の御屋敷）に入った。
助六生下来就不知道父亲是谁，五岁时与他相依为命的母亲去世了，十七岁时他离开了家乡上州（现日本山形县新庄市），前往江户。