亦无齐彬的人望，上京恐未必顺利，惹来久光的不快。之后在大久保的劝説下，西乡同意辅佐久光上京，并奉命在下关待机；但因过激派志士等人谋划在京都起事，情形急迫，西乡违背命令紧急上京，招致久光大怒，被逮捕押回鹿儿岛。6月6日，藩命西乡改名大岛吉之助，并将其流放德之岛；7月，将西乡家的知行地没收，一家人的生活陷入困苦中。京都方面，久光试图安抚过激派志士未果，最终酿成第一次寺田屋事件，多名过激派志士被斩杀。1862年7月2日，西乡隆盛到达德之岛；8月26日，爱加那带着一子一女从邻近的奄美大岛赶来与西乡相会，但翌日就