1862年（文久2年）、伊藤圭介が幕府の蕃書調所（間もなく洋書調所に改組）に招聘を受けることなり、芳男はその助手として出仕し、物産学・本草学の研究開発に当たることとなった。芳男のその後の述懐によると、この際採用された人物の多くは、師である伊藤圭介を含めて、ダイコン、ニンジン、ゴボウなどといった日用産物の殖産には関心がなく、芳男が物産所でもっぱらこの研究に従事することとなったという。この間、圭介の伴をしてシーボルトを訪ねている。開成所付置の物産所で殖産興業の発展を探った。その後師は高齢により職を辞して故郷に帰り、その後任となった。1865年（慶応元年）、幕府はパリ万国博覧会に正式参加表明し、万博に昆虫標本の出品を決定することとなった。翌1866年（慶応2年）、芳男は幕府からパリ万国博覧会への出張と昆虫標本採集と製作を命じられ、関東一円に赴き博物学者の子阿部為任と採集を行った。同年11月、パリに向けて出港し、シンガポールやスエズ運河を経由して到着している。1867年（慶応3年）、パリ万国博覧会に出張。自ら採集した昆虫標本が現地の研究者に高く評価された。