Plassen kan ha vært et fiskeleie som lå på Stadsholmen flere sekler før Stockholm ble grunnlagt på 1200-tallet. Snorre forklarer navnet i sin Ynglingesaga med at det skulle komme fra Agne Skjalfarbonde, en sveakonge på 400-tallet som ble myrdet på holmen, og "fit" som er et norrønt ord som betyr "sank äng".