Stolpast dvor je bil verjetno zgrajen v 14. stoletju. Prvič se pisno omenja leta 1389 v lasti Hansa. Naslednja lastnika sta bila leta 1459 brata Hans II. in Lienhard. Nato je leta 1533 dvor temeljito prezidal Hans Verneški. Leta 1509 ga Hans II. Vrhovški izroči svoji hčerki Elizabeti. Ta rod poseduje dvorec do začetka 18. stoletja. Leta 1687 se je v grajski kapeli poročil Janez Vajkard Valvasor. Ruševine starega stolpastega dvora, poškodovanega v potresu leta 1511, ki naj bi stal na lokaciji »dolge njive«, je pred vojno odstranil lastnik Heri Schoppel. Leta 1942 so dvorec Vrhovo požgali slovenski partizani in uničili dragocene Schopplove zgodovinske zapiske. Danes je predelan v stanovanjsko hišo.