1832年5月3日、ラウントリーはサラ・スティーヴンソン（Sarah Stephenson、1807年 - 1888年）と結婚した。二人の間には、3男2女と5人の子どもたちが生まれたが、そのうちの次男が、後にチョコレート製造業の大立者にして社会改革者として知られるようになった同名の息子ジョセフ・ラウントリーであった。長男ジョン・スティーヴンソン・ラウントリーも事業に関わったが、むしろクエーカー教会の改革者として著作によって知られ、三男ヘンリー・アイザック・ラウントリーは一家の中で最初にチョコレート製造業に乗り出した人物となった。