Historie hradu sahá do 13. století. Prvním známým majitelem byl Matyáš z Frymburka. Jeho význam však upadl po založení hradu Opočno. Mezi nejznámější vlastníky panství a tedy i Frymburka patří bratři Štěpán a Jan z Dobrušky. Jana historici ztotožňují s Janem Městským z Opočna. Přídomek Městský získal, protože pocházel z Heřmanova Městce. Historie jej zná mimo jiné jako účastníka bitvy u Grunwaldu na straně řádu německých rytířů v roce 1410, po které byl rok v polském zajetí. Roku 1415 připojil svoji pečeť k pečetím ostatních českých pánů a rytířů na protest proti upálení Jana Husa. Společně s Otou z Bergova pak vyplenil Opatovický klášter. Ještě v průběhu roku 1418 Jan Městecký zabral Miletín, který dříve patřil Řádu německých rytířů a zdůvodnil jej nesplacenými dluhy z předchozí války. V roce 1420 však již stojí zpět na straně Zikmunda v bitvě u Sudoměře a je opět poražen. Za jeho podporu Zikmundovi byl hrad Frymburk v roce 1425 dobyt sirotky. Samotný Jan Městecký zemřel v roce 1431. Od roku 1495 drželi panství Opočno i s Frymburkem Trčkové z Lípy. Roku 1638 byl hrad Frymburk vypálen a úplně zničen švédským vojevůdcem Bannerem.