Sandwich giftet seg med Dorothy Fane, datter til Charles Fane, 1. markgreve av Fane. De fikk sønnen John Montagu, markgreve av Hinchingbrooke, (1743–1814) som senere ble den 5. jarlen av Sandwich. Sandwich' første personlige tragedie var hans kones sviktende helse. Hun ble til slutt sinnssyk. Mange år senere fant han igjen lykken med den talentfulle operasangerinnen Martha Ray som fødte ham flere barn, blant andre Basil Montagu (1770–1851) som ble forfatter, jurist og filantrop. Tragedien rammet ham igjen i april 1779 da Ray ble myrdet av en sjalu beiler. Montagu kom aldri over sorgen.