在填海前是油麻地避风塘，填海后的避风塘从渡船街以西移至新填海区以西的海傍。富荣花园位置东临渡船街，整个屋苑横跨海泓道左右两边，海泓道以东为第一期7至18座，而海泓道以西则为第二期1至6座，与同在西九龙填海区上的海富苑、柏景湾、帝柏海湾、帝峰·皇殿及奥海城相邻。屋苑附近有多间学校，包括：油麻地天主教小学（海泓道）、保良局陈守仁小学、香港管理专业协会李国宝中学及于2008年底启用的香港理工大学香港专上学院西九龙校园。