受立为世子。因曾祖父、萨摩藩第8代藩主岛津重豪的影响，从小对西洋科学有浓郁的兴趣，对曾祖父广为收集的西洋用品，例如钟、乐器、望远镜、显微镜和武器等爱不释手。他熟悉拉丁语，曾利用日语转换罗马字的方法发明了一套个人密码。重豪还介绍齐彬认识着名的日本博物学家，德国籍的兰医菲利普·弗朗兹·凡·西博尔德（Franz Van Siebold），这使齐彬成为少数亲身接触过西方人的日本人之一。但这与曾祖父如出一辙的「兰癖」也使藩内的财政稳健派颇有疑惧，因为与兰学有关的研究及现代军工产业的创办会耗费大量资金，岛津重豪挥金如土