母亲是伦敦商人本杰明·米（Benjamin Mee）之女玛丽（1752-1805）。属于坦普尔家族的爱尔兰分支。后来，他继承了家族的爱尔兰贵族身份，成为第三代帕默斯顿子爵。1792至1794年，这位8岁至10岁的小男孩随家人一起游览了欧洲大陆的法国、瑞士、意大利、汉诺威以及荷兰。在意大利时，他跟从意大利籍家庭教师盖特诺先生（Signor Gaetano）那里学会了流畅的意大利语。帕默斯顿在哈罗公学就读时（1795-1800），后来的海军上将，第一等从男爵曾是他和、的学弟，他回忆说帕默斯顿远比另二人宽