Nazwa "Szwederowo" (niem. "Schwedenhöhe") pochodzi od Szwedów, którzy w czasie wojny z Polską w roku 1656 nacierali na Bydgoszcz od strony południowych wzgórz tego osiedla. Widok szwedzkich oddziałów podziwiających staropolską Bydgoszcz ze wzgórz Szwederowa uwiecznił Erik Dahlbergh na sztychu wykonanym na podstawie jego szkicu z 1657 r. Nazwa nawiązuje również do legendy, którą wydał w 1935 roku redaktor Wincenty Sławiński w zbiorze pt. „"Babia Wieś, z legend podmiejskich starej Bydgoszczy"”. Mianowicie gdy szwedzki potop zalał polską ziemię, mnożyły się wszędzie grabieże, choroby i nieszczęścia. Zmęczeni Polacy mieli już dość najeźdźcy, a widomym tego wyrazem był tężejący wszędzie opór. Na wzgórzach naprzeciw Wełnianego Rynku rozłożył się obozem oddział 200 rajtarów nieprzyjacielskich. Stała tam oberża braci Szwedami zwanych, którzy choć Polakami będąc, uchodzili dzięki swemu nazwisku za kamratów żołnierzy szwedzkich. Ci właśnie bracia pewnego dnia rajtarów spiwszy rozbroili wraz z mieszczanami całą kohortę. Wszystkich Szwedów powsadzano na furmanki i trasą nad Bałtyk wyekspediowano. Miejsce to nazwano Szwederowem i tak po dziś dzień pozostało.