因长年外地奔波，聚少离多，终以离婚收场。与第一任妻子，生下一子两女，裴渊、裴溥言、裴淑言。裴溥言为台湾大学中文系教授，其夫糜文开。第二任妻子裴衣云(另名：衣云美 )于一九四二年31岁时在青岛过世。两人生下一子二女，裴源、裴润言、裴深言。裴源就读成功高中时，与陈映真为同学，在高三时，曾参加五二四事件。与第三任妻子王新耕（本名：王令苕）于一九四七年在公开结婚。生下二子三女。裴泽言。裴浩。裴涓言。裴洵言。裴瀚。么女裴洵言以裴在美为笔名，曾为影视编导以及当代画家，现为台湾知名小说家。