Panchthar hører til i . I vest grenser Ilam mot Dhankuta, i nordvest mot distriktet Terhathum, i nordøst mot Taplejung, og i øst mot den indiske delstaten Vest-Bengal. I sør grenser det mot Ilam.