Sullivan ble født i Lowell, Massachusetts i 1915 og var ferdig utdannet ved Boston College i 1937. Sullivan var sønn av en korrespondent for , og han ble selv en sportsskribent etter college. Han var publisitetsdirektør for Boston College, University of Notre Dame og Boston Braves, og slapp såpass mange pressemeldinger at en annen sportsskribent, Red Smith, gav ham kallenavnet "Maître de Mimeograph." Sullivan var også i United States Navy.