Dagens øy var historisk kjent som «Isles of Sheppey», bestående av tre hovedøyer: Sheppey, øya Harty og øya Elmley. Over tid har kanalene som skilte øynene blitt avleiret med silt og gjort dem til én sammenhengende øy, ganske likt som mye nordlige Kent. Sheppey består hovedsakelig av londonleire og er rik med fossiler. Øya er stort sett lavtliggende, men ved landsbyen Minster på nordkysten av øya stiger den opp til det høyeste punktet, 76 moh.