Nacido en Brooklyn, Nueva York, en el seno de una familia de emigrantes judíos ucranianos, Arkin lanzó su carrera con la empresa teatral The Second City.