Field kom fra en musikalsk familie: bestefaren var organist i Dublin og faren var fiolinist. Bestefaren gav Field den første undervisningen, seinere slo familien seg ned i London der Field ble Muzio Clementis yndlingselev.