Inchcolm ligger i Firth of Forth utenfor sørkysten av Fife midt imot Braefoot Bay, øst for Forth Bridge, sør for Aberdour, Fife, og nord for byen Edinburgh. Den er adskilte fra fastlandet på Fife ved en strekning med vann kjent som Mortimer's Deep. Øya danner en del av sognet Aberdour, og ligger en kvart mil fra kysten. I de dager da folk ble tvunget til å krysse Firth of Forth med båt i motsetning til bro, var øya i stor grad isolert, og med fergeruter mellom Leith/Lothian og Fife.