Salford, Greater Manchester
焦耳生于英格蘭北部曼徹斯特城的郊外索爾福德，他的父亲是本杰明·焦耳（Benjamin Joule，1784-1858），一个富有的酿酒师，他的母亲为爱丽丝·普雷斯科特·焦耳（Alice Prescott Joule）。焦耳出生时他们家在索爾福德的新貝利街，与他家的啤酒廠毗鄰。焦耳在年幼时因为身体健康原因一直在索爾福德附近的一个家庭学校里就学。1834年，16岁的焦耳和他的哥哥本杰明被送到的道尔顿的门下学习。焦耳兄弟俩跟随道尔顿学习了两年算术和几何。后来道尔顿因中风而退休。但是跟随道尔顿的这段经历影响了焦耳的一生。焦耳后来又受指导。焦耳兄弟俩对电学非常着迷，曾经实验相互电击，还拿家里的仆人们做过实验。