Navnet Stemshaugs eldre form kan tenkes å være , av , avledet av , stavn, brukt om en sterkt fremspringende, bratt høyde og om langt utstikkende odder. er antageligvis hentet fra bruksnavnet Stevnet. I fjorden utenfor gården stikker det et lite smalt nes ut som ender i en bratt fjellknaus.