Walsh ble født 2. april 1850 til Michael Walsh, en bonde, og Bridget Scully. Han ble sannsynligvis født på farens gård, Baptistgrange, i Lisronagh, Tipperary i Irland. Walsh hadde følgende søsken: Maria Walsh, som giftet seg med Arthur Lafferty, lensmann i Leadville, Colorado Michael Walsh som døde i 1904 i Denver, Colorado av ødem i leveren I henhold til hans datters bok, var han lærling på et sagbruk tolv år gammel og ble en dyktig snekker.