刑務所が周辺地域に与える影響として、法律や倫理を破った犯罪者を扱う施設、そして脱獄からくる社会的な不安や治安の悪化などが一般的に懸念され、刑務所建設などで地域住民による反対運動が行われることが多い。ただし、日本国内においては地方自治体などでは、日本国内における脱獄事件が近年では皆無であること、「刑務所職員および家族の移住などに伴う人口増加」、「刑務所内の物資購入などの消費活動の増加」、「就職先の拡大」などのメリットをアピールし、刑務所のイメージ向上に務めている。また、周囲の壁の色や収容棟の塗装を明るくしたり、網走刑務所のように、観光名所の一つとしてアピールしたりする所もある。また受刑者宛ての物品を販売する差入店が近隣に立地していることが多い。一方、アメリカでは、過疎の農村に誘致された刑務所は受刑者の家族の訪問を困難にさせ、受刑者と家族の結びつきを弱め、出所しても帰る所がないために社会的孤立から再び犯罪に走ってしまうという問題や、刑務所の誘致による地域活性化にしても、看守や施設管理の仕事は訓練や技術力が不足している地元民には回ってきにくく、刑務所で消費される生活物資は大企業から供給されることが多く、安価で従順な受刑者による刑務作業が近隣住民の労働力と競合するという問題が発生しているといわれている。各国の刑務所.日本.日本において死刑囚は刑務所には収容されず、死刑執行施設がある拘置所(札幌刑務所札幌拘置支所・宮城刑務所仙台拘置支所・東京拘置所・名古屋拘置所・大阪拘置所・広島拘置所・福岡拘置所のいずれか)に収容されているが、札幌・仙台においては、収容は拘置所敷地内(札幌・仙台の各拘置支所)であるものの、執行施設は隣接する刑務所敷地内にあるため、執行の際は、拘置所敷地内から刑務所敷地内への移動を伴い、厳密には、収容=拘置所、執行=刑務所という「刑の執行は刑務所で」という旧来の原則(慣習)が現在も残っている。札幌・仙台以外は拘置所内に執行施設があり、収容も執行も同じ拘置所敷地内で完結している。フランス.アメリカ合衆国.韓国.問題.刑務所は人権侵害といった弊害があることから、刑務所を廃止すべきだという主張が存在する(『刑務所廃止運動』(英語:)を参照)。