Øya er rundt 2,3 kvadratkilometer stor, og ligger nord for Hestur, vest for Streymoy og sør for Vágar. Foruten selve Koltur er det ni utenforliggende holmer og skjær. Mye av øya, deriblant der hvor gårdene ligger, lavtliggende, smal og forholdsvis flat. Mot nord stiger landskapet opp mot øyas eneste egentlige fjell, Kolturshamar eller Uppi á Oyggj (477 moh.) Her er det et rikt fugleliv.