光大怒，被逮捕押回鹿儿岛。6月6日，藩命西乡改名大岛吉之助，并将其流放德之岛；7月，将西乡家的知行地没收，一家人的生活陷入困苦中。京都方面，久光试图安抚过激派志士未果，最终酿成第一次寺田屋事件，多名过激派志士被斩杀。1862年7月2日，西乡隆盛到达德之岛；8月26日，爱加那带着一子一女从邻近的奄美大岛赶来与西乡相会，但翌日就传来改处沖永良部岛流放，并将西乡关在牢中的命令。闰8月14日，西乡到达沖永良部岛。岛上风雨交加，牢房条件简陋，西乡的身体饱受损害；幸得当地的间切横目相助，得以住进土持自费建造的新牢房