大居士，葬于岛津家的菩提寺福昌寺（曹洞宗）。有关齐彬的死因有多种说法，最可信的是死于霍乱，其他还包括痢疾、伤寒等，但因为齐彬的急死太过突然，而且时间又过于巧合，所以后世也有猜测是一直觊觎藩主之位的岛津久光（忠教）与井伊直弼共谋的结果。如日本小说家海音寺潮五郎原来主张赤痢説。后来则有小说《西乡隆盛》在第二版中，改齐彬是被毒杀。由于当时他唯一存活的六子哲丸年仅2岁，因此齐彬临终前，指名过继自久光的儿子，18岁的岛津忠徳（后改名忠义）为养子以继承家督，并娶齐彬的三女暐子为妻（暐子死后又续娶齐彬五女、近卫忠煕养