Lipsi ligger i den østlige Egeerhavet, rundt 13 km øst for Patmos, 9 km nord for Leros og 5 km sør for Arkoi. Den er nær 8 km fra nordvest til sørøst. Den beskyttede naturlige havnen og bukten på sørsiden av øya er delt inn i to forskjellige store halvøyer. Det er nordsiden av havnen Ormos Lipson (Όρμος Λειψών), sammenknyttet med et landbro, som er den smaleste delen av øya med ca 750 meter. Den eneste bosetningen ligger øst for havnen og strekker seg delvis ut på tilstøtende halvøya.