政府没收其家族财产，以及逮捕其家人入狱即将判处死刑的威胁之下，廖于是向中华民国政府投降返台。廖文毅父亲廖琛（后改名廖承丕）于1895年乙未战争之时，曾英勇抵抗日军，是义军重要将领。以西螺七嵌功夫闻名于世。
早年.廖文毅生于今台湾云林县西螺镇，出身于一个乡下仕绅的家庭，原家居二崙乡义庄村，因为祖父在隔壁庄埔心开设私塾教汉学而迁居西螺。廖文毅的祖父廖龙院（1835年－1893年），以开私塾教汉学为生，是西螺地区最早的长老教徒。其父廖承丕（1871年－1939年）善理财，大量购买土地