平安時代初期には貴族の間で唐物が重要な献上物やステータス・シンボルとなっていた。朝廷は海外の商船が持ち込む財物を優先的に買い上げる、「唐物使（からものつかい）」を大宰府に派遣し先買権を行使した。貴族たちも同様の私的な買い付け人を送り、朝廷はしばしば競合を防ぐための禁令を出している。宇多天皇の代に公的な遣唐使は中止されたが、民間の商人による唐物の貿易量は国風文化と呼ばれる時代になっても増え続けた。人々は唐物と本朝物の美術品を違う役割を持つものとして受容し、状況に応じて使い分けた。平安時代末期には平氏が台頭し、日宋貿易を掌握することで得た経済力を権力の基盤とした。
太宰府に商船が入港すると、唐物使が派遣され優先的に良品を持ち帰った。儀礼「唐物御覧」が行われ、天皇がそれらの唐物を眺めた後、天皇の親族や摂関ら限定された範囲に分配贈与された。
鎌倉時代、貿易の相手は宋から元に替わった。元寇と呼ばれる国家間の衝突があっても、唐物の流入は変わること無く続いた。禅宗や喫茶の習慣が日本に広まり、茶道具が唐物の重要な物品となった。『太平記』には佐々木道誉が闘茶の景品として多数の唐物をつぎ込んで楽しんだ様子が描かれている。
応仁の乱の後、幕府の財政は逼迫し、足利義政は貯めこんだ唐物を同朋衆が決めた価値を基準に切り売りした。こうした将軍家曰くつきの唐物は東山御物と呼ばれた。
安土桃山時代には茶の湯が政治の手段に利用され、唐物の名物は贈与財、威信財として活用された。織田信長は多くの唐物茶器を蒐集し論功行賞に用いたが、本能寺の変とともにその多くが失われた。豊臣秀吉も茶の湯を政治利用したが、その茶器の構成は朝鮮産（高麗物）や国産（和物）が主流となっていた。『東照宮御実紀』『徳川実紀』によれば徳川家康は茶道具への執着がなく、唐物の名物を惜しげも無く下賜している。
江戸時代に入ると日本は鎖国体制を国是とし、幕府は長崎貿易を直轄し民間人による海外との交易を禁じた。寛永年間には長崎で仕入れた舶来品を商う「唐物屋」が現れるようになった。初期の唐物屋は今日で言う高級美術商で、茶室で使う絵画や茶器などの名物を扱う商人を広く唐物屋と呼んでいた。元禄の頃にはガラス器や羅紗を使った小間物など、舶来品専門の雑貨商となり、成金や庶民で賑わうようになった。
和製の唐物.