义时之子。母为直江景纲的姊妹。永禄4年（1561年），父亲义时于川中岛之战战死后继承家督，由于只有2岁，由祖父志駄春义担任后见人，并担任夏户城主（寺泊。现为长冈市）。但春义也在永禄6年（1563年）死去，由于母亲也早亡，于是由母亲娘家直江氏照顾，由直江景纲之妻（后室）担任养育之责。后来与景纲后室的幼女（养女？）结婚，与直江氏的关系深厚。天正6年（1578年）5月10日上杉景胜颁给感谢状叙明志駄氏为「直江一家之侍」。成人后仕于上杉谦信。天正6年（1578年）谦信死后爆发御馆之乱，义秀属于上杉景胜一