Gene Tunney blev født i 1897 som søn af Mary Lydon og John Tunney, der begge var emigreret fra Irland til New York som følge af hungersnøden i Irland. Faderen arbejdede som havnearbejder i New York havn og parret fik i alt syv børn. Som barn af fattige irske immigranter voksede Tunney op i et hårdt kvarter i New York, hvor han lærte af bokse på gaden. Som teenager måtte Tunney forlade skolen for at arbejde til familiens underhold.