焦耳1818年12月24日生于曼彻斯特附近的索尔福德。父亲是个富有的啤酒厂厂主。焦耳从小就跟父亲参加酿酒劳动，学习酿酒技术，没上过正规学校。16岁时和兄弟一起在著名化学家道尔顿门下学习，然而由于经常生病，学习时间并不长，但是道尔顿对他的影响极大，使他对科学研究产生了强烈的兴趣。1838年他拿出一间住房开始了自己的实验研究。他经常利用酿酒后的业余时间，亲手设计制作实验仪器，进行实验。焦耳一生都在从事实验研究工作，在电磁学、热学、气体分子动理论等方面均作出了卓越的贡献。他是靠自学成为物理学家的。焦耳是从磁效应和电动机效率的测定开始实验研究的。他曾以为电磁铁将会成为机械功的无穷无尽的源泉，很快他发现蒸汽机的效率要比刚发明不久的电动机效率高得多。正是这些实验探索导致了他对热功转换的定量研究。

从1840年起，焦耳开始研究电流的热效应，写成了《论伏打电所生的热》、《电解时在金属导体和电池组中放出的热》等论文，指出：导体中一定时间内所生成的热量与导体的电流的二次方和电阻之积成正比。此后不久的1842年，俄国著名物理学家楞次也独立地发现了同样的规律，所以被称为焦耳－楞次定律。这一发现为揭示电能、化学能、热能的等价性打下了基础，敲开了通向能量守恒定律的大门。焦耳也注意探讨各种生热的自然“力”之间存在的定量关系。他做了许多实验。例如，他把带铁芯的线圈放入封闭的水容器中，将线圈与灵敏电流计相连，线圈可在强电磁铁的磁场间旋转。电磁铁由蓄电池供电。实验时电磁铁交替通断电流各15分钟，线圈转速达每分钟600次。这样，就可将摩擦生热与电流生热两种情况进行比较，焦耳由此证明热量与电流二次方成正比，他还用手摇、砝码下落等共13种方法进行实验，最后得出：“使1磅水升高1°F的热量，等于且可能转化为把838磅重物举高1英尺的机械力（功）”（合460千克重米每千卡）。总结这些结果，他写出《论磁电的热效应及热的机械值》论文，并在1843年8月21日英国科学协会数理组会议上宣读。他强调了自然界的能是等量转换、不会消灭的，哪里消耗了机械能或电磁能，总在某些地方能得到相当的热。这对于热的动力说是极好的证明与支持。因此引起轰动和热烈的争议。为了进一步说服那些受热质说影响的科学家，他表示：“我打算利用更有效和更精确的装置重做这些实验。”以后他改变测量方法，例如，将压缩一定量空气所需的功与压缩产生的热量作比较确定热功当量；利用水通过细管运动放出的热量来确定热功当量；其中特别著名的也是今天仍可认为是最准确的桨叶轮实验。通过下降重物带动量热器中的叶片旋转，叶片与水的摩擦所生的热量由水的温升可准确测出。他还用其他液体（如鲸油、水银）代替水。不同的方法和材料得出的热功当量都是423.9千克重·米每千卡或趋近于423.85千克重·米每千卡。在1840～1879年焦耳用了近40年的时间，不懈地钻研和测定了热功当量。他先后用不同的方法做了400多次实验，得出结论：热功当量是一个普适常量，与做功方式无关。他自己1878年与1849年的测验结果相同。后来公认值是427千克重·米每千卡。这说明了焦耳不愧为真正的实验大师。他的这一实验常数，为能量守恒与转换定律提供了无可置疑的证据。1847年，当29岁的焦耳在牛津召开的英国科学协会会议上再次报告他的成果时，本来想听完后起来反驳的开尔文勋爵竟然也被焦耳完全说服了，后来两人合作得很好，共同进行了多孔塞实验（1852），发现气体经多孔塞膨胀后温度下降，称为焦耳－汤姆孙效应，这个效应在低温技术和气体液化方面有广泛的应用。焦耳的这些实验结果，在1850年总结在他出版的《论热功当量》的重要著作中。他的实验，经多人从不同角度不同方法重复得出的结论是相同的。

1850年焦耳被选为英国皇家学会会员。此后他仍不断改进自己的实验。恩格斯把“由热的机械当量的发现（迈尔、焦耳和柯尔丁）所导致的能量转化的证明”列为19世纪下半叶自然科学三大发现的第一项。

1889年10月11日焦耳在塞拉逝世。