1831'de İrlanda'da doğan Morrissey, küçük bir çocukken ebeveynleriyle beraber New York eyaletine taşındı. 1850'lerin başlarında, Kaliforniya Gold Rush sırasında altın bulmak için San Francisco'ya gitti. Kaliforniya'da eldivensiz boksör oldu. New York'a dönüşünde, Amerikan Boks Şampiyonu olarak kabul edilen Yankee Sullivan'ı 37 turda yendi.