986年他在拍摄《小岛风云》时跟刚出道的周海媚拍拖，至1988年11月9日，与当时21岁的她在美国登记结婚，但仅五个月，女方便以性格不合为由提出离婚，多年后吕良伟才发现两人因不了解美国登记制度并没有正式註册。1996年有传媒报导吕良伟与邝美云因经常打麻将开始相恋，其后吕良伟还以传统中式婚礼迎娶邝美云。此婚姻却只维持一年半，离婚时更被揭发二人结婚并没有正式註册。2001年1月，吕良伟与来自贵州的杨小娟「奉子成婚」，而吕良伟把儿子取名为「善扬」。