本町・市町・荒町・与良町の4町から成り、本町と市町は北国街道の宿場町の機能を担った。半月ずつ上下に分けて宿問屋を定め伝馬を勤めた。また本町、荒町、与良町には穀問屋や塩問屋、造り酒屋などがあり、佐久地方の商業の中心地であった。市町には問屋と本陣を勤めた上田家が旧小諸本陣として残され、国の重要文化財に指定されている。
侍屋敷は、特に保存されていない。しかし、三之門を向かって左手方向の旧馬場町、右手方向の旧足柄町（いずれも住居表示は小諸市古城）一帯には、旧藩時代の直系子孫が現在も居住して、かつての面影を若干残していることがある。
大正時代の初期、伊豆半島中央部の山村・湯ヶ島。秋の夕方ともなれば、どこからともなく雪虫が飛んでくる。野遊びから帰りぎわの子供たちは「しろばんば、しろばんば」と囃しながら、雪虫を木の枝で捕まえてはしゃぐのだった。そんな子供たちの一人である洪作は、実の両親が健在ながら義理の曾祖父・辰之助の妾・おぬい婆さんと２人で暮らしている。この奇妙な生活は、洪作が5歳の頃に始まる。当時、第2子を妊娠した母・七重は忙しさから一時のつもりで洪作をおぬい婆さんに預けた。愛人をなくした「妾」という極めて不安定な立場にあったおぬいは自身の立場を確立する目的から洪作を手放そうとせず、やがて洪作自身も母よりおぬいに懐いた。結局、洪作は軍医として任地を転々とする父母とは別に、伊豆山中にある両親の故郷で少年時代を送ることになった。近隣に住む洪作の母方の祖父母や年少の叔父、叔母、さらに今だ健在だった曽祖父の本妻らはおぬいを「腹黒い女」と非難し、洪作には「かわいそうに、ろくでもない者の人質になって」と憐れみと皮肉を取り混ぜた受け答えをする。しかし、洪作はおぬいに愛され、洪作もまたおぬいを慕っていた。洪作が尋常小学校2年に進級した年、母の妹で沼津の女学校を卒業したばかりのさき子が、洪作の小学校に教員として着任する。それまでさき子を良い遊び相手として慕っていた子供たちは、一種の「壁」を感じ始める。やがて一学期最後の成績表授与の日。おぬい婆さんは洪作に正装として袴を履かせる。登校した洪作は上級生から生意気だとして暴行を受けるが、抵抗できない。そこへ別の集落の少年・光一も袴を穿いて現れた。やはり生意気だとして暴行を受ける光一だが、砂や石を投げつけるなどして果敢に抵抗する。さらに成績表授与の場で光一の成績が首席と知らされ、正義感でも成績でも光一にかなわないと、洪作は劣等感を覚えた。夏休みに入り、洪作はおぬい婆さんと共に父・捷作の任地・豊橋に向かう。街の生活のはなやかさに惑わされて迷子になるなど事件を起こす一方、やはり町の子供と山育ちの自身を引き比べ、多少の劣等感を覚える。元来は気の合わないおぬい婆さんと母・七重が一つ屋根の下で暮らす生活の中、多少の諍いを交えつつも、洪作がこれまで通りおぬい婆さんの元で暮らすことが取り決められ、2人は土産物を整えて湯ヶ島に戻る。2学期が始まって洪作の嫌なことは、さき子が教職仲間の中川基と恋愛関係にあるという噂が村内に立ち始めたことである。やがてさき子は妊娠し、村内はさき子や中川を当てこする噂で持ち切りとなった。中川は責任を取る形で伊豆半島西海岸へ転勤していく。人気者の教師だった中川の転勤は、子供たちの心に少なからぬ動揺を来した。年が明けて間もなくさき子は男児を出産した。洪作が3年に進級して間もなく、周辺の村落の少年・正吉が神隠しに遭遇する。数日後に正吉が発見された折、彼の様子を見に行こうとした洪作は自身が神隠しに遭遇してしまう。それから一月後、義理の曽祖父・辰之助の本妻だったおしな婆さんが老衰で死亡する。妾として、おしなから辰之助を奪った形となるおぬい婆さんは、自身に集まる非難の視線を感じつつ本家の台所で立ち働く。洪作は、そんな彼女の胸中を思いやる。5月下旬。さき子と共に共同浴場に行った洪作は、彼女が見違えるほど痩せ衰えていることに驚く。ほどなくさき子が肺病に罹患したとの噂が立つ。さき子は教職を辞して実家に引きこもるが、洪作はさき子に会いたい余り実家を訪ねる。そして病気の伝染を恐れて入室を拒むさき子と襖越しに会話することで、一種の甘美な思いを抱くのであった。6月。洪作はおぬい婆さんと共に、沼津で指折りの豪商「かみき」の家を訪れる。夫人の計らいで海岸に連れていかれ、初めて体験する潮騒に興奮するものの、その帰り道で買い食いした蜜柑水やところてんで食中毒を起こし、寝込んでしまう。病床から、洪作は伊豆の山村では想像もつかない、商家の贅沢ながらも退廃的な暮らしを垣間見ることになる。ほどなく、病状の悪化したさき子は人目を忍んで夫や子どもの待つ伊豆半島西海岸に転地していく。さき子と犬猿の仲だったおぬい婆さんも、さすがにさき子を思い遣る。しかし夏休みが始まって間もなく、さき子の訃報が届く。祖母・たねやおぬい婆さんが泣き崩れて初めて、洪作はさき子の死を事実として悟った。さき子の葬式のために一族の大半が西海岸に向かう中、留守を任された洪作は遊び仲間と天城峠のトンネル見物を思い立つ。総勢20人あまりの一団を先導するのは洪作だが、やはりさき子の死で動揺を隠しきれない。その思いを振り払うべく、後方へ「がんばれ！」と怒鳴るのだった。