佐屋街道は1634年（嘉永11年）に開設され、1666年（寛文6年）に東海道の脇往還として幕府に公認された。佐屋宿は開設当時からの宿場である。外佐屋村内佐屋地区、依田村、須賀村の3村が担っていた。天保年間の規模は、本陣1軒、脇本陣2軒（1軒は非公式）、旅籠31軒、問屋場1箇所。佐屋御殿（尾張藩主の休息所）、船番所、船会所、奉行所佐屋代官所、が設置されていた。三里の渡しは、佐屋川、木曽川、加路戸川、鰻江川、揖斐川の順に川を下って桑名宿へ向かう渡船であった。なお、桑名から佐屋へ向かうさいは川を遡ることもあり、船賃は若干高く設定されていた。佐屋川は江戸末期には上流からの土砂で川幅が狭まり、水も浅くなってしまった。そのため浚渫や仮湊の設置が行われた。1604年（元禄4年）、松尾芭蕉は江戸から伊賀への帰郷の中、 佐屋の門人であった素覧亭に逗留した折『水鶏（くいな）鳴くと人のいへばや佐屋泊』の句を詠んだ。同席した俳人が芭蕉を偲び、水鶏塚がその地に現在も建立されている。
慶長16年（1611年）5月7日、2代将軍・徳川秀忠の四男（庶子）として誕生。幼名は幸松。母は静（志津、後の浄光院）で、秀忠の乳母大姥局の侍女で北条氏旧臣・神尾栄嘉（かんお さかよし）の娘（『以貴小伝』『会津家世実記』）、もしくは武蔵国板橋郷竹村の大工の娘（『柳営婦女伝系』）である。秀忠は慶長15年（1610年）2月から3月、慶長17年（1612年）3月から4月には駿府へ赴いているほか江戸近郊で鷹狩を行っており、静の妊娠はこの間のことであると考えられている。「会津松平家譜」では江戸神田白銀の竹村次俊宅にて出生したとある。近世武家社会においては、正室の体面・大奥の秩序維持のため侍妾は正室の許可が必要で、下級女中の場合にはしかるべき家の養女として出自を整える手続きが必要であったと考えられている。また、庶子の出産は同様の事情で江戸城内で行なわれないことが通例であり、幸松の出産は武田信玄の次女である見性院に預け、そこで生まれた幸松は見性院に養育された。見性院は武田家御一門衆で甲斐国河内領主・穴山信君の正室であったが、天正10年（1582年）6月の本能寺の変に際して信君が横死し、さらに天正15年（1587年）に実子で穴山氏当主となった勝千代が死去する。徳川家康は武田家臣・秋山氏の娘で家康の側室となった於都摩の方（下山殿）を生母とする五男・万千代（武田信吉）に穴山武田氏の名跡を継がせると、見性院は万千代の養育にあたった。信吉は常陸国水戸の領主となるが、慶長8年（1603年）に病死し、これにより穴山武田家は断絶する。その後、見性院は家康・秀忠に庇護されて武蔵国足立郡大間木村に500石を拝領し、江戸城田安門内の比丘尼邸に居住していた。見性院は妹の信松尼と共に武蔵八王子で幸松丸の養育にあたる。正之の出生は秀忠側近の老中土井利勝や井上正就他、数名のみしか知らぬことであったという。また、「会津松平家譜」では武田氏に預けられたのは慶長18年（1613年頃）としている。また、正之が生まれた場所は静の姉婿に当たる神田白銀町の竹村助兵衛方であったともいわれる。元和3年（1617年）、見性院の縁で旧武田家臣の信濃国高遠藩主保科正光が預かり、正光の子として養育される。ただしこの時、正之は正光の養子に既に左源太という男子がいることをお供の女性が茶飲み話していたのを聞いて、母にむかって「肥州（正光）には左源太という子がいるからいかぬ」と駄々をこねて母を困らせ、母の説得でようやく高遠入りしたという。正之は高遠城三の丸に新居を建設されて母と共に生活し、正光の家臣が守役となり、正光も在城の際には日に5、6度はご機嫌伺いをしたという。正光は自らの後継者として正之を指名し、養子の左源太にも生活に不自由しないよう加増や金子を与えること、自らの存命中に秀忠と正之を父子対面させたいことを約した遺言を遺している。なお、長兄の家光が正之という弟の存在を知ったのは、鷹狩りの際に家光が身分を隠して5人ほどの供を連れて目黒の成就院という寺で休憩していた時、家光が住職に、「こんな片田舎のお寺の客殿に立派な絵を描かれているが、誰の援助か？」と聞かれたので、住職は、「保科肥後守の母上の御援助」と答えた。話の延長線上で、僧侶から「保科肥後守殿は、今の将軍家の正しき御弟だというのに、僅かな領地しかもらえず、貧しい暮らしをしているそうで、おいたわしい。我らのような賤しきものも、兄弟は仲良くするのが人の習いであると知っている。身分の高い人というのは、ずいぶんと情けがないものだ」と住職は話した。家光は「肥後守殿は今の将軍家の弟君である」と聞かされて知ったとされ、後で成就院は家光より寺領を寄進された。後に新井白石は正之を重用した家光の行為を「善政の一齣」であると記している。寛永6年（1629年）6月、正之は兄の3代将軍徳川家光と初対面、また次兄徳川忠長とも対面しており、忠長からは大変気に入られて、祖父・徳川家康の遺品を忠長より与えられたとしている。寛永8年（1631年）11月、幕府より幸松に「月のかわらぬうちに出府せよ」と命令が下り、重臣5名と出府、土井利勝や井上正就同席の上、「幸松儀、肥後守信州高遠藩3万石相続仰せつけられる」と上意があり、秀忠の命で幸松は、保科肥後守正之と名を改め、高遠藩藩主となり21歳で世に出た。正光の跡を継ぎ高遠藩3万石の藩主となり、正四位下左近衛中将兼肥後守に叙任。以後、会津中将と通称される。