原型は紀元前3,500年頃の古代エジプトでプレイされたセネトと呼ばれる10枡3列の遊戯盤ではないかという説があるが、現代のものとは見た目もルールも大きく異なるため、プレイすると、かなり違和感を覚える。ツタンカーメン王の墓からもセネトの道具が発掘されている。元々は古代エジプト人にとって最大の関心事であった「死と再生」の過程が盤上に描かれるなど、セネトはエジプト神話及び宗教と結びついたものであった。だが、エジプト文明の衰退とともに宗教色が薄れ、エジプト末期王朝には宗教的な絵やヒエログリフが外されていった。これがかえってギリシアやローマに受け入れられていく素地となっていった。
入社当初は書籍の発送など雑用を任されていたが、1942年から1943年頃から単行本の編集を担当。1944年（昭和19年）から1年半ほど新潮社に在職した伊藤整は、当時の斎藤について「戦時中までは、カミソリのやうな、とはかういふ人のことだらう、と思ふやうな人物であつた」「齋藤氏は『天皇』といふ別名もあるほどで、仕事の上では強い性格の人として知られてゐる」「私の印象では目から鼻に抜ける、といふ日本語は齋藤十一のために作られたやうな言葉であつた」「入社して最初に私に向つて彼は『伊藤さん、僕を書いちや駄目ですよ』と念を押したのであつた。その時の一睨みで私は齋藤十一氏を描くことをあきらめたのである」などと回想している。1945年（昭和20年）11月、終戦に伴って復刊した文芸誌『新潮』の編集者となる。1946年（昭和21年）2月、同社取締役に就任。同年から『新潮』の編集長になる（1967年まで）。同人誌を読んで無名の新人作家を発掘し続けた反面、坂口安吾や佐藤春夫といった大作家の原稿も気に入らなければ没にする、連載を打ち切ることで知られ、共にクラシック音楽を愛好し親交の深かった小林秀雄からは「斎藤さんは天才だ。自分の思ったことをとことん通してしまう」と賛嘆された。尻込みする太宰治に野平健一を差し向け、「如是我聞」を書かせたのも斎藤だった。また同年『新潮』の顧問であった河盛好蔵の助言で、坂口安吾の『堕落論』を同誌に掲載し、大きな反響を呼んだ。また戦後流行した左翼的な風潮に反発し、戦争責任を問われ文壇から遠ざかっていた保田與重郎や河上徹太郎らに作品発表の場を提供した。1950年（昭和25年）1月、『芸術新潮』創刊。1956年（昭和31年）2月、『週刊新潮』を創刊。編集長の佐藤亮一（後に野平健一になる）の頭越しに全てのタイトルを決定し、実質的に同誌を支配し、『週刊新潮』の天皇と言われた。創刊にあたってのコンセプトを、のちに「うちの基本姿勢は俗物主義」「どのように聖人ぶっていても、一枚めくれば金、女。それが人間」「だから、そういう人間を扱った週刊誌を作ろう、ただそれだけ」 と語っている。これまで純文学しか書かなかった立原正秋に、初めて大衆小説を書かせて成功し、五味康祐や柴田錬三郎、山口瞳、山崎豊子、瀬戸内晴美といった大衆作家を育てた。また4度にわたり芥川賞候補となるも落選を繰り返して文壇的不遇を余儀なくされていた吉村昭に出世作『戦艦武蔵』を書かせたのも斎藤だった。また山口瞳の名物コラム『男性自身』の題名を命名したのも斎藤によるものだが、山口は当初この題名を嫌がっていたという。一方、新人作家からは苛烈なしごきで恐れられた。新田次郎は1959年（昭和34年）3月、気象庁勤務時代に『週刊新潮』からスリラー小説の読切連載を依頼された折、3作書いて編集部に送ったところ、3つとも没にされた。改めて2作書いたところ、1作だけが合格。連載2回目は3篇中1篇のみが通るという具合で、その全てが斎藤の意向だった。また筒井康隆も若手時代に苦汁を飲まされた一人であるという。吉行淳之介は宮城まり子との不倫を『週刊新潮』に書き立てられ、しかもその書き方が宮城との仲を性犯罪と併置したものだったために激怒し、円形脱毛症となり、しばらく新潮社と縁を切っていたことがある。なお、吉行も麻布学園の卒業生であった為、斎藤は母校の知り合いを使い情報を収集したとも言われる。遠藤周作は斎藤から無理難題を押しつけられて苦しんだ体験談を新人編集者時代の校條剛（のち『小説新潮』編集長）にたびたび語り、校條から生意気な発言をされると「そんなら、斎藤さんを投げ飛ばしてみろ」とたしなめた。「あの斎藤さんには、誰も敵わない」ということは作家の間での共通認識だった、と校條は述べている。純文学作家時代の川上宗薫は、1961年（昭和36年）、斎藤らにけしかけられて『新潮』6月号にモデル小説『作家の喧嘩』を発表したところ、この作品が原因で友人の水上勉から訴えられそうになり、さらには文芸誌から干されて大衆作家への転身を余儀なくされた。これに対して斎藤は、何ら川上を擁護しなかったのみか、水上への謝罪文を川上に書かせようとする態度に出、結局「水上勉への詫び状」と題した川上の文章が『新潮』の翌月号に掲載された。また松本清張の小説を高く評価していたが、松本が新潮社の仕事を受けるようになったのは、すでに作家としての地位を確立してからだった。車谷長吉は、1980年代初頭、都落ち時代に「あんな奴は神戸で覚醒剤の売人でもやってりゃいいんだ、それがお似合いだよ」と齋藤から嘲笑されたことを記している。1958年（昭和33年）『国民タイムス』により女性スキャンダルを報じられる。1965年（昭和40年）9月、週刊新潮編集部で五味康祐を担当していた大田美和と再婚。1981年（昭和56年）6月、新潮社専務取締役に就任。同年10月、自らの企画で写真週刊誌『FOCUS』を創刊し、やはり記事の全タイトルを自ら決定した。なお『FOCUS』を創刊する際のエピソードに、部下に「君たち、人殺しの顔を見たくはないのか」と発言したとされる。