Roku 1757 vtrhli Prusové do Prahy a na tomto místě v Libni postavili vartu. Po prohrané bitvě u Kolína 18. června téhož roku se rychle stáhli a vojáka zde zapomněli. Toho se údajně ujala místní dívka, která si jej vzala za muže. Začalo se zde říkat Na ztracené vartě, Na stráži a poté zkomolením německého "" (stráž) – Šilboch. Před zámečkem stávala plechová socha pruského vojáka v plné zbroji a ta údajně dala podnět ke vzniku této pověsti. Po zániku zámečku se socha dostala do městského muzea.