Carney, né Arthur William Matthew Carney, cadet d'une fratrie de six garçons (Fred, Jack, Ned, Phil, Robert) est né au Mount Vernon, dans la banlieue nord de New York, le fils d'Helene (née Farrell) et d'Edward Michael Carney, journaliste et attaché de presse. Sa famille était d'origine irlandaise et catholique. Il étudia à l'A B Davis High School, dont il sortit diplômé en 1936. Carney fut enrôlé dans l'armée durant la Seconde Guerre mondiale. Pendant la Bataille de Normandie, il fut blessé par des éclats d'obus, ce qui le fit boiteux pour le restant de ses jours.