文久元年（1861年）に北郷作左衛門とともに長崎出張を命じられ、1月17日に蒸気船「天佑丸」に乗船して前之浜を出立した。長崎では通詞を雇い、オランダ軍艦に乗船して軍艦操作、破裂弾・水雷砲術学などを修学、八木玄悦、石河正龍らとともに研究している。帰鹿した同年6月に石河によって忠義臨席の下、電気伝導で水雷を爆発させる実演が行われ、これらの功績によって同年5月18日、島津久光の側役に抜擢されている。10月に入って大幅な人事異動により久光体制が確立すると、清廉は御改革御内用掛に任命され、藩政改革に取り組んだ。配下に大久保利通がいた。文久2年（1862年）には久光による上洛に随行し、帰国後は家老職に就任した。薩英戦争では、研究した水雷を鹿児島湾に配置するなど尽力する。戦後は集成館を再興して特に蒸気船機械鉄工所の設置に尽力する一方で、京都にあって主に朝廷や江戸幕府、諸藩との連絡・交渉役を務め、参与会議等にも陪席した。他方で御軍役掛や御勝手掛、蒸気船掛、御改革御内用掛、琉球産物方掛、唐物取締掛などを兼務して藩政をリードし、大久保や町田久成とともに洋学校「開成所」を設置した。