Семья Колфилд происходит от (1565—1627), первоначально проживавшего в Оксфордшире (Англия). Он был британским военным, а также представлял в . В 1620 году для него был создан титул лорда Колфилда, барона Чарлмонта в звании . Ему наследовал его племянник, сэр Уильям Колфилд, 2-й барон Чарлмонт (1587—1640). Сын последнего, (1621—1642), был застрелен в 1642 году по приказу сэра , лидера Ирландского восстания 1641 года. Его младший брат, (1624—1671), захватил Фелима О’Нила, ответственного за убийство его старшего брата. В 1665 году для него был создан титул виконта Чарлмонта в системе . Его сын, (ок. 1655—1726), был противником католического короля Якова II Стюарта, за что был лишен титула и своих владений. Новый король Вильгельм III Оранский восстановил его ирландские титулы и владения. Его сын, Джеймс Колфилд, 3-й виконт Чарлмонт, представлял в ирландском парламенте. Его сменил его сын, . В 1763 году для него был создан титул графа Чарлмонта (). Его старший сын, , заседал в Палате лордов Великобритании в качестве (1806—1837). В 1837 году для него был создан титул барона Чарлмонта из Чарлмонта в графстве Арма в звании пэра Соединённого королевства. Лорд Чарлмонт позднее служил (1839—1863). Ему наследовал его племянник, (1820—1892). Он заседал в Палате общин Великобритании от с 1847 по 1867 год, а также служил в качестве (1849—1864) и (1864—1892).