信濃国埴科郡杭瀬下村(長野県埴科郡埴生町、更埴市を経て現千曲市)で、大地主・豪農の5代色部義太夫義祐(よしすけ)、義江子夫妻の長男として生まれる。