二月二十三日被免职；三月二十八日入狱，由尚健审判。尚健使用酷刑，逼迫向汝霖承认其私自挪用国库款项、阻挠琉球与萨摩间的大米交易、缩小甘蔗种植面积、图谋推翻尚泰王等罪行。向汝霖拒绝认罪，但在十三个月内审问十余次后，向汝霖被迫承认了这些罪行。向汝霖被判处远流久米岛6年的刑罚。不久，于咸丰十年闰三月十三日（1860年5月3日），死在狱中。根据喜舍场朝贤《琉球三冤录》的记载，向汝霖受到了酷刑，脚底被打裂开，最后悲惨死去。着作有《向汝霖诗集》。