Zachodnią granicą osiedla jest ul. Bernardyńska, wschodnią – al. kard. Stefana Wyszyńskiego, południową – Zbocze Bydgoskie, a północną – rzeka Brda. Wzdłuż wschodniej granicy obszaru jednostki spływa do Brdy ciek wodny – struga Niziny. Dużą część Babiej Wsi zajmują tereny zielone: planty nad Brdą oraz park Centralny. W obrębie osiedla znajdują się liczne kluby kajakowe oraz wioślarskie, a także hala sportowo-widowiskowa „Łuczniczka”, wraz z mniejszą halą bliźniaczą, zbudowaną specjalnie na siatkarskie mistrzostwa świata w 2014 roku.