1894年10月11日卸任公使一职回国。同年11月10日担任枢密院顾问官。1900年（明治33年）5月9日，因长年作出的贡献，受封男爵。1902年（明治35年）9月28日，导致多人死伤，大鸟的儿子也在灾难中遇难。1911年（明治44年），在神奈川县足柄下郡国府津町的别墅中因食道癌逝世。