Cagney adalah anak kadua dari tujuh badingsanak, dua di antaranya meninggal pas beberapa bulan setelah kelahiran mereka.