1736年1月19日，瓦特出生在苏格兰克莱德河畔的格林诺克城。他的父亲既是一个造船装配工和船舶公司股东，也是一个商人，并曾担任过格林诺克城的司库和地方行政官。作为一个体弱多病的孩子，瓦特到了读书年龄后，先在家中由其母亲授教；而后才正式去学校念书。在学校里，他学习了拉丁文、希腊文和数学，并显露出了在数学方面的突出才华。除学校教育外，父亲的工场间也使瓦特得益非浅。每天放学回家，他总要来这里用属于自己的锻炉、板凳和其他工具，制作种种模型。渐渐地，他已经熟知了船舶的构造和各种航海仪器。

少年时代，瓦特不爱剧烈活动，时常独自沉思默想。有一次，他看到水壶的水开了，蒸汽把壶盖冲得噗噗作响，他盯着水壶呆了一个多小时。这是他第一次对蒸汽力发生了浓厚的兴趣。

17岁那年，瓦特怀着当一名数学仪器制造家的强烈愿望，前去格拉斯哥学艺。1755年，他又辗转来到伦敦，拜当时颇有名气的机械师约翰·摩尔根为师。几年艰苦的学徒生活很快就拖垮了瓦特的身体，但他学到的东西是如此之多，以致于足以“象熟练工人那样工作”。1757年，瓦特回到格拉斯哥，他想在市内开办一家专门生产销售各类数学仪器的商店，但受刭有关行会的阻挠。几位在格拉斯哥大学的朋友出来替他解难，介绍他去自己大学当了一名数学仪器修理工。在格拉斯哥大学，瓦特结识了一些知名的学者和发明家，其中有发展了潜热理论的化学家约瑟夫·布莱克。1764年，瓦特与表妹玛格丽特·米勒结了婚。直到9年以后米勒去世，他俩一共生了6个孩子。

早在1705年，托马斯·纽康门和约翰·考利就已发明了一种制作粗糙的蒸汽机，即“纽康门蒸汽机”。这种蒸汽机的汽缸同时也兼作蒸汽冷凝器。由于不时地要使汽缸变热变冷，这种蒸汽机不仅燃料消耗大，而且效率也低。1764年，瓦特在承接这类蒸汽机的修理任务时，就深深地感觉到了它的缺点。他决心对这种蒸汽机进行改造。1765年5月，瓦特确定了改进纽康门蒸汽机的设想。他发现潜热的损耗是该蒸汽机的最大不足；要解决这一问题就必须另外设置一个与汽缸既有区别又有联系的蒸汽冷凝器。不久以后，瓦特遇见了工厂主约翰·罗巴克。在罗巴克的邀请下，1768年，瓦特与他合作制造了一种新型蒸汽机，并于次年1月获得了这项发明的专利。这种新型蒸汽机也叫“单动式蒸汽机”，它除有一只汽缸外，还有一个蒸汽冷凝器，蒸汽在汽缸里形成，然后进入蒸汽冷凝器里凝缩，这就避免了纽康门蒸汽机一冷一热的变换，从而节省了燃料，提高了蒸汽机的工作效率。

1766年以后，瓦特在苏格兰为修筑运河连续干了8年的土地勘测工作。1774年，已对这项工作感到厌倦的瓦特辞职来到伯明翰定居。此时，罗巴克的工厂已经破产，他同瓦特分享的寺利股份也为伯明翰工厂主马修·博尔顿购得。1775年，英国国会颁布一项法令，宣布将瓦特蒸汽机的专利有效期再延长25年。也就是从这一年起，瓦特与博尔顿之间的长期合作正式开始了。

1776年，瓦特在博尔顿的资助下，安装了两台蒸汽机，一台用来抽取斯塔福德郡煤矿矿井的地下水，另一台用来为约翰·威尔金森钢铁公司的炼铁炉鼓风。同年，瓦特继第一个妻子死后，又与安·麦克格莱戈结婚，麦克格莱戈先后与他生了两个孩子。

在此后4年中，瓦特一直在康沃尔郡各地奔波，为那里的铜矿、锡矿安装蒸汽抽水机。1781年，博尔顿鼓励瓦特发明一种旋转运动的蒸汽机。没多久，瓦特就设计了一种“太阳与行星”式的齿轮，它可以把原来蒸汽机的往复运动转变为旋转运动。1782年，正处于发明创造鼎盛期的瓦特终于研制成功了一种“双动式蒸汽机”，在这种蒸汽机里，活塞既能做推力，也能做拉力，具有双重功能。1784年，瓦特发明了蒸汽机的联动装置，即设置几根用来引导活塞杆做垂直运动的连杆。他称这是“我所发明的一系列最天真、最简单的机械装置之一”。4年后，瓦特将离心调速器首次应用于蒸汽机，借以对蒸汽机的旋转速度进行自动控制。1790年，他又发明了压力计，就此完成了瓦特蒸汽机的整个发明过程。

瓦特蒸汽机的问世使蒸汽机得以广泛应用，极大地推动了当时的工业革命。一时间，定货单象雪片一样从四面八方飞来。到1790年，瓦特已成了一名大富翁，在过去的1 1年里他获得的专利税款高达76000英镑。

蒸汽机并没有耗去瓦特的全部精力。他同时也是伯明翰月球协会的会员，该协会的会员都是一些作家和科学家，他们把推进科学和艺术视为已任。此外，瓦特为保护自已的专利权，还不得不经常抽出时间忙于诉讼。1785年，瓦特和博尔顿同时被选为伦敦皇家协会会员。此后不久，瓦特开始养成了度假的习惯。为比，他特地在拉德诺希尔的多尔多洛德买下了一座庄园，并从1795年起逐渐从繁忙的商业活动中脱出身来。

1800年，瓦特和博尔顿正式将自已创建的公司交由他们的儿子经营。退休以后的瓦特，其生活也并不是很平静的。他与后妻所生的儿子格雷戈里以及许多挚友的去世，在他的心中留下了难以治愈的创伤。1802年，瓦特乘英法签订亚眠和约之际，偕妻子出访了法国和德国。回来后，他又整日待在自己住所的顶楼不停地工作着，用以消磨时光。正是在这间房间里，他发明了一台雕刻机，并时常用这台机器来为朋友复制雕像．1806年，瓦特被授予格拉斯哥大学法学博士头衔；1814年又被接纳为法国科学院的外籍会员。在瓦特去世前不久，人们准备授予他准男爵位，但被他婉言谢绝了。

瓦特在语言、音乐和化学等方面都有很高的造诣。他的记忆力很强，阅读范围也很广。尽管如此，蒸汽机仍是瓦特一生中最大的成就。虽然最初发明蒸汽机的并不是瓦特，但他对蒸汽机所做的一系列重大改进，都足以使他跻身于世界最著名的发明家之列。

1819年8月25日，瓦特在赫斯菲尔德郡的家中悄然去世。他的遗体火化后被安葬在汉兹沃斯教区的教堂里，旁边紧挨着博尔顿的墓穴。5年后，威斯敏斯特教堂为他立了雕像。瓦特生前曾首创“马力”作为计算功率的单位。后来人们所使用的电的功率计算单位一一“瓦（特）”和“千瓦（特）”，则正是为纪念他而以其名字命名的。