Ledger ble forlovet med skuespillerinnen Michelle Williams, som han møtte på settet til . De fikk en datter sammen, Matilda Rose, 28. oktober 2005 i New York City. Barnets gudforeldre er Ledgers medspiller Jake Gyllenhaal og Williams' medspiller Busy Philipps. Ledger solgte sin australske bolig i Bronte, New South Wales, for 7 millioner australske dollar.