Jakob Bagge døde i Stockholm den 14. januar 1577, etterlott seg tre barn han fikk med sin hustru Anna Svinhufvud. Den eldre sønnen ble admiral i den svenske flåten.