神田和泉橋通りに開業した大倉屋は「和泉橋通藤堂門前自身番向大倉屋」と名乗り、小泉屋鉄砲店が出入りする屋敷先とは一切の商売をしないと証文を出した。店頭には現物を置く資金がなかったため、注文を受けては横浜居留地に出向き百数十度に渡り外商から鉄砲などを購入した。不良銃を高値で売りつける鉄砲商が多かったため、良品を得意先へ早いかつ安い納品を心がけていた大倉屋は厚い信用を博した。そののち官軍御用達となり、明治元年（1868年）には新政府軍の兵器糧食の用達を命じられるまでになった。明治4年（1871年）7月以降は、鉄砲火薬免許商として、諸藩から不要武器の払い下げを受ける。
江戸到着後、狂歌仲間の和風亭国吉のもとで塩物商いの手伝いを経たのち、中川鰹節店で丁稚見習いとして奉公した。丁稚時代に安田善次郎と親交を持つようになる。安政4年（1857年）には奉公中に貯めた100両を元手に独立し、乾物店大倉屋を開業。横浜で黒船を見たことを契機に乾物店を慶応2年（1866年）に廃業し、同年10月に小泉屋鉄砲店に見習いに入る。約4ヶ月間、小泉屋のもとで鉄砲商いを見習い、慶応3年（1867年）に独立し、鉄砲店大倉屋を開業。
少女への飽く事なき関心や、多くの「子供友達」の存在、オスカー・ギュスターヴ・レイランダーによる初期の児童写真の蒐集、少女俳優制度の改革以前のロンドン劇場への愛着、少女のヌード写真やセミヌード写真あるいはスケッチといったキャロルの作品に関わる心理分析は、キャロルが少女愛者（ロリータ・コンプレックス）だったとの憶測を呼び起こしている。キャロルはその作品と人生から少女愛者として考えられ伝えられる事が多い。『ロリータ』の作者ウラジーミル・ナボコフも彼の作品と人生に影響を受けており、ナボコフはルイス・キャロルを「最初のハンバート・ハンバート（『ロリータ』の主人公の中年男）」と呼んでいる。当時は児童のヌード写真は珍しいものではなかったとの主張により、議論はさらに複雑になっている。ヴィクトリア期におけるキャロル以外の著名な児童ヌード写真撮影家としては、ジュリア・マーガレット・キャメロンやフランシス・メドウ・サトクリフがいる。「キャロル神話」と名付けられたキャロライン・リーチによる物議を醸した調査報告によれば、ドジソンを少女愛と関連付けた最初の発想は、1932年のラングフォード・リードによる『The Life of Lewis Carroll』の中で現れる。リーチによれば、キャロルと少女達の友情は、彼女らが思春期、すなわち1870年代のイギリスにおいては16歳前後の年齢に達すると共に、常に終りを告げたと最初に述べたのはリードだった。ただしリードの主張は、あくまでキャロルが肉欲によって汚されていない、純粋な男性だった事を強調するためのものだった。ドジソンが思春期以降の女性には興味を持たなかったとする主張は、後の伝記作家らによって受け継がれた。ドジソンの遺族らがドジソンの日記や手紙類を公開することを拒否したため、これらの伝記作家は、その主張と相反する資料には気付かないままだった。大人の世界を拒絶し、子供らとの交際に専念するドジソン像は、フローレンス・ベッカー・レノンによる『Victoria Through the Looking-Glass』（1945年）や、後世のキャロル像に大きな影響を与えたアレキサンダー・テイラーの『The White Knight』（1952年）においても、主張され続けてきた。ドジソン少女愛者説の一つとして伝えられている、キャロルが13歳のアリス・リデルに求婚したという逸話は、後述するリーチの研究によれば、「キャロルは一種のピーター・パンだった」という仮説を提示したフロレンス・ベッカー・レノンの伝記により広められた。しかし、この逸話を裏付ける一次資料は存在しない。これらのドジソン像は、ドジソンの子供に向ける関心が無垢なものと解釈するか、小児性愛的なものと解釈するかの違いにより、別の傾向を帯びた。この後、主にジャーナリズムの世界で俗流のフロイト風解釈により「少女愛者」像が生まれた。ドジソンの少女愛者説は1995年のモートン・コーエンによる『Lewis Carroll, a Biography』により再提起させられた。コーエンは、ドジソン自身は彼の少女ヌード写真を審美的な物と主張していたが、ドジソン自身も自覚しない少女に対する情緒的な愛着を、ドジソンは抱いていたと述べている。コーエンは更に撮影に際して少女の母親が同席するよう求められていたことに着目し、ドジソンが「彼自身の過ちに対する保険」としてこれらの用心策を用いていたのではないかと、前掲書228-229ページで疑問を呈している。コーエンは「ドジソンの少女ヌード写真は多くの友人から、なんらのエロチシズムも感じさせないと納得されていたもの」であることを認めつつも、続けて「後の世代はその表層の下にあるものを見た」と付け加えている。少女のヌード写真に関わるドジソンの揉め事についての唯一の記録は、ドジソンとメイヒュー一家についてのものである。1879年にドジソンはオックスフォードの学僚であるアンドリュー・メイヒューに対して、コーエンが言うところの「いくつかの興味をそそられる手紙」を書き送っている。コーエンの記述によれば、ドジソンは他の大人の立会いなしで、メイヒュー家の6歳と11歳と13歳の三人の娘たちのヌード写真を撮影する許可を求めようとした。メイヒューの両親はそれ以前はドジソンによる娘らの撮影を認めていたにもかかわらず、この申し出を拒絶した。更にコーエンはこれと同時期に、ドジソンとメイヒュー一家が「突然の絶縁状態」に陥ったことを注記している。リーチはこの問題は幼い妹たちの撮影によるものではなく、ドジソンが年長の姉の体を正面から撮影しようとしたことによるものと主張している。