佐賀藩
其父為佐賀藩的日本國學學者枝吉南濠，將其過繼給同藩的副島利忠成為養子。其兄為日本國學學者。受到父兄的影響，很早就認識到尊王攘夷思想。在弘道館求學，結識江藤新平與大木喬任。