Díky výrazné podobě těchto skal, ležících na zemské hranici blízko obchodní cesty, se zmínky o Krkavčích kamenech objevují již od 14. století. Během prusko-rakouské války v roce 1778 zdejší vyvýšeninu obsadili rakouští vojáci, kteří obehnali skály palisádami. U tohoto opevnění 30. července 1778 došlo k přestřelce Rakušanů s Prusy. V roce 1877 Adolf Clemens Fähnrich z Dolní Světlé přistavěl k jižnímu úpatí české skalní věže hostinec. V roce 1880 byl z hostince zpřístupněn dřevěným schodištěm vrcholek skály a na něm majitel hostince zřídil vyhlídku, kterou nazval "Ritterstein" ("Rytířský kámen"). Ještě téhož roku byla zbudována vyhlídka také na sousední německé skále. Tato vyhlídka byla za účasti zástupců spolků a občanů ze Saska i z Čech slavnostně otevřena 1. září 1880. Při této příležitosti byla dosud bezejmenná skála pojmenována "Falkenstein". Dne 19. srpna 1885 vypukl požár, který dřevěnou restauraci úplně zničil. V roce 1887 byla na místě původní restaurace postavena nová chata. Ve 20. letech 20. století byla chata přebudována na horský hotel s celoročním provozem. Po roce 1945 prázdný objekt chátral až zcela zanikl v 50. letech, kdy byly údajně jeho pozůstatky rozebrány slovenskými příslušníky pohraniční stráže jako stavební materiál.