どの市町村と合併するかというのは最大の問題といえる。多くは、都市圏内、郡内などの組み合わせにより枠組みが決まっていった。枠組みを決めるに際して、地区懇談会を開催して首長が私案として提示し合意を取り付けたケース、いくつかのパターンを示してアンケートで民意を問うたケースなどがあるが、中にはこじれて住民投票にまでもつれこんだケースがある。最終的には首長の判断が問われ、合併の組み合わせと生活圏とが異なるうえに住民意向調査で反対の民意が示されたにも関わらず合併を実行させたケースもみられる。なお、市町村の合併の議論をうながし、市町村合併を後押しするため、市町村合併が考えられる組み合わせ（パターン）として、複数のパターンを含む合併市町村の組み合わせを作成し公表した県もあった。
通常の合併は同一都道府県内の市町村同士で行われることがほとんどであるが、県境に隣接していて地理的、経済的理由などで同一都道府県内よりも他県市町村との交流が深ければ、県境を越えた合併が模索される場合がある。これを越境合併（越県合併、県境合併）と呼ぶ。
編入（編入合併）の代わりに吸収合併、合体（新設合併）の代わりに対等合併という語が使われることがあるが、これらの語は手続ではなく理念に基づくもののため、編入（編入合併）や合体（新設合併）と同義ではない。合併前からの（最大規模の）市町村の名称を引き継ぐなど、実質上は吸収合併の様相を呈するケースでも、「吸収」というイメージを極力排除して、対等な関係を強調したい場合には、手続として新設合併の手法を採ることがある。このようなケースでは、合併を機に市町村の標章を変更するなど、対等な関係を強調するための手続きの変更がなされることもある。
市町村の合併の特例等に関する法律第2条第1項では「市町村の合併」を以下のように定義している。この法律において「市町村の合併」とは、二以上の市町村の区域の全部若しくは一部をもって市町村を置き、又は市町村の区域の全部若しくは一部を他の市町村に編入することで市町村の数の減少を伴うものをいう。 -- 「市町村の合併の特例等に関する法律（平成十六年法律第五十九号）」『第二条第一項（定義）』すなわち、市町村の合併とは市町村の合体及び編入の総称である。
戦後、新制中学校の設置管理、市町村消防、自治体警察の創設、社会福祉、保健衛生関係などが新たに市町村の事務とされ、増大した行政執行の財政確保のために、市町村を適正規模に拡大することが必要となった。このため、1953年（昭和28年）に町村合併促進法が施行され、新制中学校1校を管理するのに必要な規模としておおむね8,000人以上の住民を有することが標準とされた。さらに、「町村数を約3分の1に減少することを目途」とする町村合併促進基本計画（昭28年10月30日閣議決定）の達成のため、1956年（昭和31年）に新市町村建設促進法が施行され、全国的に市町村合併が推進された。1953年（昭和28年）の町村合併促進法施行から、新市町村建設促進法を経て、1953年（昭和28年）10月に9,868あった基礎自治体が1961年（昭和36年）には3,472になり、約3分の1に減少した。
1889年（明治22年）以降も町村合併は進められ、1898年（明治31年）までにさらに2,849減少したが、1898年（明治31年）以降は漸減傾向で推移し、1918年（大正7年）までには267が減少したのみだった。1923年（大正12年）に郡制が廃止されたが、これをきっかけに町村合併等の機運が盛り上がり、1918年（大正7年）から1930年（昭和5年）までの12年間に、町村数は約500減少した。その後、1940年（昭和15年）に紀元2600年を記念して合併が進められた時期などがあり、1943年（昭和18年）には市数200、町村数10,476となった。1945年（昭和20年）、第二次世界大戦終戦直後には、市数205、町数1,797、村数8,818となっていた。
鎌倉時代初期には、国衙領や、荘園のうち天皇家・公家・寺社の領地には、武家の支配がおよんでいなかった。鎌倉時代を通じて、武家の統治機構である守護・地頭に属する武士が、地頭請や下地中分という形で国衙領や荘園を蚕食し始めるようになった。この傾向は南北朝時代に入ると顕著になり、荘園の年貢の半分を幕府に納める半済や、年貢の取立てを守護が請け負う守護請が一般化した。また、鎌倉時代の守護の権限であった大犯三ヶ条（大番催促、謀反人・殺害人の検断）に加えて、刈田狼藉の取締も守護の役務となり、荘園領主は守護の立入を拒むことができなくなった。これらを通じて、土地支配上の武士の立場は、荘官・下司として荘園領主に代わって荘園を管理するだけの立場から実質的な領主へと変化していった。守護は、このような武士と主従関係を結ぶようになり、領国内への支配権を強め、守護大名と呼ばれるようになった。南北朝合一時に国衙領がほとんど残っていなかったのはこのような背景による。荘園公領制が完全に崩壊するのは、南北朝時代よりも2世紀後の太閤検地によってであるが、この南北朝期に既に大きな転機を迎えていた。戦乱により公家や朝廷の政治力が衰え、政治の主導は完全に武家へ移ることになった。また、武家社会でも、それまで当たり前だった全国に分散した所領の支配が難しくなり、分散した所領を売却・交換し、一箇所にまとめた所領の一円化傾向が顕著になった。これに伴い、関東の狭い「苗字の地」から新恩の広い地方へ移り住む例が多くなった。