等见朝政日非，联名上《东宫朝贺疏》，被撤职。自谓「丈夫事业，更有许大在。此等三年递一人，奚足为大事也。」嘉靖四十三年（1564），去世。诏赠光禄少卿，谥文恭。
着作.罗洪先于天文、地理、礼乐、典章、水利、边塞、战阵、攻守、阴阳、术数、无不精心探究，他将朱思本《舆地图》加以改绘，取名《广舆图》。性好佛，一说晚年在鼓山出家，法号念庵，有《醒世诗》。着有《念庵集》22卷、《冬游记》等。据考证，罗洪先亦为中国术数《紫微斗数》的发现者，紫微斗数在不同的古本中，皆尊陈希夷为创术人，在现存可