Freer Gallery of Art
議員生活の後は東京小石川において書画骨董商を営み、特に肉筆浮世絵の売買に全力を傾注した。なお、小林文七の蒐集品のなかには多数の耕曹コレクションが存在したとされており、小林を通してフリーア美術館に売却された葛飾北斎の肉筆画「漁夫樵夫図」（絹本2幅）、「煙管持つ立美人図」（絹本1幅）、「富嶽笛を吹く童子」（絹本1幅）などは元々、耕曹のコレクションであったといわれている。明治42年12月8日、兄の病気見舞いに応じて帰郷した際、鶴岡にて没した。享年68。