6年安土城完工，林秀贞仍保持笔头重臣的地位。但是林秀贞在天正8年（1580）被织田信长以过去拥立信行，企图谋反罪名将他流放，关于流放原因至今仍不明，普遍说法是林秀贞在晚年表现已趋平庸但还佔据重臣之位，能力与地位不符故被信长硬拔下位。遭流放后的林秀贞在京都附近居住，改名南部旦马。同年10月15日死去。根据林氏直系后继者说法，秀贞遭流放后寄身于广岛浅野家度过余生。现在在广岛市有林家墓地。