私生活では、最初の妻であるエリザベス・S・グリーン（Elizabeth S. Greene）との間には4人の子供を授かり、そのうちの一人のエミリー・モリソン・ベック（Emily Morison Beck）は『バーレット引用句事典』（en）の編集者となった。エリザベスとは1945年に死別し、その後、1949年にボルチモアの未亡人プリシラ・バートン（Priscilla Barton）と再婚したが、プリシラも1973年に亡くなった。
1955年にモリソンはハーバード大学を退職した。彼は余生を執筆活動に費やした。“Christopher Columbus, Mariner”（1955年）、“Freedom in Contemporary Society”（1956年）、“The Story of the 'Old Colony' of New Plymouth, 1620–1692”（1956年）、“Nathaniel Homes Morison”（1957年）、“William Hickling Prescott”（1958年）、“Strategy and Compromise”（1958年）と矢継ぎ早に作品を世に送り出している。1959年の“John Paul Jones: A Sailor's Biography”では、2度目のピューリッツァー賞を獲得する。1960年代初め、モリソンは再びニューイングランド史に焦点を当て、“The Story of Mount Desert Island, Maine”（1960年）、“One Boy's Boston, 1887–1901”（1962年）、“Introduction to Whaler Out of New Bedford”（1962年）、“A History of the Constitution of Massachusetts”（1963年）の一連の著作を発表した。このほか1963年には、第二次世界大戦におけるアメリカ海軍戦史の概略を一冊にまとめた“The Two Ocean War”を刊行している。1964年、モリソンは、大統領自由勲章をリンドン・ジョンソン大統領から贈られた。ジョンソン大統領は、このアメリカ合衆国における文民最高の栄誉を贈るに際し、次のように述べている。学者にして海軍人、この水陸両用の歴史家は、行動の人生と文芸の技の二つを組み合わせることで、二世代のアメリカ人を無数の発見の航海へといざなった。（Scholar and sailor, this amphibious historian has combined a life of action and literary craftsmanship to lead two generations of Americans on countless voyages of discovery.）モリソンの晩年は、探検に関する本の執筆にも充てられた。例えば、“The Caribbean as Columbus Saw It”（1964年）、“Spring Tides”（1965年）、“The European Discovery of America”（1971-1974年）、“Samuel de Champlain: Father of New France”（1972年）が挙げられる。最後の一冊の執筆のためには、サミュエル・ド・シャンプラン（Samuel de Champlain）の経路の多くを実際に帆走し、それ以外の部分も飛行機を使って辿っている。
椿岳は、武蔵国川越の小ヶ谷村（現埼玉県川越市小ヶ谷）に、富裕な農家・内田善蔵の三男として生まれた。本姓は小林、後に淡島を称す。幼名は米三郎。通称は城三。吉梵、南平堂と号す。幼少期より絵を好み、その才があった。米三郎は長じると長兄と共に川越を発ち江戸に出て、蔵前の札差・伊勢屋長兵衛の元で奉公する。「伊勢屋」は当代きっての幕府の御用商人で、長兄は伊勢屋一族の伊藤家の娘婿となり、伊藤八兵衛と改名する。これが幕末期に江戸一の大富豪に上り詰めた伊藤八兵衛である。後に渋沢栄一は八兵衛の元で商売を学び、八兵衛の次女・兼子は渋沢栄一の妻となった。また八兵衛の娘たちは皆、伯爵夫人となる。如才ない三男の米三郎（椿岳）は、兄・八兵衛を良く助けたが、日本橋馬喰町の有名軽焼屋・「淡島屋」を営む豪商・服部喜兵衛の元に婿入りし、淡島屋の屋号から淡島姓を名乗る。その後、生活に困らない米三郎は大枚を叩いて水戸藩の御家人株を買って小林城三と改姓した。絵の道に憧れていた城三（椿岳）は、蔵前で画塾を開いていた大西椿年に大和絵を学び、師の一字をもらって椿岳と号する。さらに谷文晁や高久隆古に師事した。椿岳は日本画の形式に拘らず、洋画も川上冬崖、高橋由一らの交流を通して学んだ。1859年（安政6年）に寒月が生まれるが、「妾160人」とも言われた椿岳の奔放な女道楽が続く。1870年（明治3年）、愛人とともに浅草寺境内の伝法院に住む。椿岳の奇人・変人と称された伝説的な生活が始まる。椿岳は西洋画を購入し浅草寺で「西洋目鏡」と名づけた見世物小屋を開く。料金2銭と安くしたため客が押しかけ、西郷隆盛も見学しに来るほどであった。椿岳は次に浅草寺境内の淡島堂に移り、頭を丸めてデタラメなお経をあげるにわか坊主になる。ここで泥絵による洋画風の風景画や風俗画を書き、これが評判を呼んだ。浅草絵の創始である。また鳥羽僧正の鳥獣戯画の影響を受けて、独自の「椿岳漫画」を制作、漫画でも一家を成した。また、明治初期、牛込円福寺に大幅を描いている。1884年（明治17年）、椿岳は向島の弘福寺門前に梵雲庵を建て移り住み、易者の真似事などをする。1889年（明治22年）、一ヶ月放浪して帰宅した直後に梵雲庵で死去した。墓石には「吉梵法師」と刻まれた。辞世の句は「今まではさまざまの事して見たが、死んで見るのはこれは初めて」