1853年（嘉永6年）、百万石前田藩領の越中国高岡（現・富山県高岡市）の蘭方外科医・長崎言定の次男として生まれた。幼名、志芸二（しげじ）。祖父の長崎浩斎は著名な蘭学者であり、幼い頃から日本国外への憧れを育てられた。1870年（明治3年）、明治維新を機に富山藩大参事に就任した従兄の富山藩士・林太仲の養嗣子となり、「林忠正」を名乗る。翌1871年（明治4年）、富山藩貢進生（各藩の俊秀を藩費で大学南校に学ばせる制度）として上京し、大学南校に入学。大学南校は1873年（明治6年）に改編されて「開成学校」となり、1877年（明治10年）には「東京大学」と改称した。授業はお雇い外国人教師により、すべて外国語で行われた。1878年（明治11年）、パリで行われる万国博覧会に参加する「起立工商会社」の通訳として渡仏した。すでに1875年（明治8年）、従兄の磯部四郎がパリ大学に留学していたこともあり、大学を中退して憧れのフランスに渡った。当時のパリでは日本美術への人気が高く、博覧会でも日本の工芸品は飛ぶように売れた。（現・シャイヨ宮）内の「歴史館」では各国の参考品が展示され、特に日本に興味を持つ印象派の画家や評論家などは連日、日本の展示物を見物に来ていた。林はそこに立って、流暢なフランス語で詳しく説明した。その熱のこもった解説を通じて彼らとの親密な交友が始まり、その友情は林の死の日までも続いた。博覧会の後もパリに残った林は、1881年（明治14年）頃から美術の仕事に戻り、元起立工商会社の副社長・若井兼三郎とともに、美術雑誌の主筆の『日本美術』（全2巻。1883年（明治16年）に刊行、1885年（明治18年）に改訂）の著述を手伝うことになった。林はこの大きな仕事によって、日本美術を体系的に学び、また日本工芸の第一人者若井から鑑定の知識や資料も譲り受けた。ゴンスは著書の冒頭で林の能力を高く評価し、協力への感謝を記している。1884年（明治17年）1月、「日本美術の情報と案内」と銘打った美術店を開く。林の日本文化の豊富な知識と人柄に魅せられた日本美術愛好家たちは、その小さな店に足繁く通った。同年7月には、若井と合同して「若井・林商会」を作った。若井が日本で厳選した工芸品をパリに送り、ヨーロッパ各地で行動的に販売する林によって商売は順調に伸び、1886年（明治19年）には大きなアパルトマンに移った。同年、若井から完全に独立、「林商会」を開いた。だが同じ頃、日本商社のパリ支店は次々に店を閉じた。その理由は、彼らが「ヨーロッパの客が日本美術の何を求めているか」を知らなかったからである。林のパリの店舗も1891年（明治24年）には門を閉め、大金持ちの客のみを相手にするようになっていた。