I 1764 giftet Watt seg med sin kusine Margaret (Peggy) Miller, som han fikk fem barn med; to av dem levde til de ble voksne: James Jr. (1769–1848) og Margaret (1767–1796). Hans hustru døde i barsel i 1772. I 1777 giftet han seg på nytt, da med Ann MacGregor, datteren til en farger i Glasgow. Han fikk to barn med henne: Gregory (1777–1804), som ble geolog og mineralog, og Janet (1779–1794). Ann døde i 1832. Mellom 1777 og 1790 bodde Watt i Regent Place i Birmingham.