Původ hradu je nejasný. Někteří ho kladou již do 13. století. Archeologický materiál původem nesahá před rok 1300. Také typ stavby je běžný spíše pro přelom 13. a 14. století. Hrad možná vznikl jako černá stavba. Jen z názvu hradu je možné předpokládat, že ho založili páni z Varty. Je pravděpodobné, že hrad byl založen před rokem 1335. Zřejmě od doby před rokem 1349 hrad patřil pánům z Holštejna. Roku zeměpán 1421 Jan II. Opavský hrad odňal Štěpánovi mladšímu z Holštejna a Vartnova a dal ho svému stoupenci Ondřeji Šternovi ze Životic. Jan II. zůstal lenním pánem hradu. Husitské války se hradu vyhýbaly. Po smrti Jana II. připadl hrad jeho synům Mikuláši V. Krnovskému a Václavu IV. Ratibořskému. Od roku 1437 byl pánem hradu jen Mikuláš V. Roku 1446 byl Vartnov Mikulášem podstoupen Bernardu Bírkovi z Násilé.