。文禄2年（1593年），父亲义统在文禄之役中因为敌前逃亡的失态而触怒秀吉，于是大友氏被改易。身为嫡子的义乘受到被加藤清正幽禁的处分。在翌年蛰居地更变为德川家康的领地江户牛込（现今东京都新宿区）的屋敷。义统在石垣原之战败北后被幽禁在常陆国宍户，于庆长5年（1600年）期间把大友氏的家督传给义乘。因为自古就是名家的关系，于是以高家身份仕于德川氏。其长男义政（贞胜）早死，继承者是次男义亲。根据耶稣会流传的资料记载，义统的儿子在1587年3月受洗并有「」的洗礼名，但是此人身份不明。