Ganwyd Walsh yn Warfield Park, ger Bracknell yn Berkshire, yn unig fab i Syr John Walsh, Barwnig 1af a'i wraig Elizabeth, merch Joseph Walsh. Benn oedd cyfenw gwreiddiol y teulu ond fe'i newidiodd i Walsh ym 1795 yn unol ag ewyllys ewythr ei wraig Syr John Walsh (1726-1795), a adawodd iddo ffortiwn a wnaed yn yr India, gan gynnwys ystadau yn Berkshire a Sir Faesyfed, a hefyd daliadau mawr yn yr Iwerddon, yn bennaf yn Swydd Corc a Swydd Kerry.