玉桂山是鸭脷洲地势最高的地方，主峰高海拔196米，但香港仔炮台并不在玉桂山的主峰之下，而是建于玉桂山向西北方延伸的副峰附近的山腰，这座玉桂山副峰高海拔143米，常被称为「小玉桂山」或「假玉桂山」，该处虽然地势比主峰一带低，但更接近鸭脷洲与南丫岛之间的东博寮海崃北面水道，而且当时的鸭脷洲西部也未有海怡半岛等多层住宅群，附近一带没有现在的高楼大厦阻碍视野，所以炮台在当时的射界也很广阔。大部分香港山峰通常只在最高点设置一支标高柱，然而一座玉桂山却罕有地设有多支标高柱，一支位于玉桂山主峰，而炮台所在较矮的「小玉桂