父亲追随国军到台湾。在大风大浪中，与父母从大陈岛一路颠沛流离，并定居台东县。柯家在浙江沿海一带有200年的捕鱼历史，属于闽南民系福佬人，语言与台湾闽南人略同。1955年刚满3岁的柯受良随着一家人和整个家族及村子共20户的人搬迁到台东县卑南乡富冈（今台东市），父执辈的人则是在台湾持续了捕鱼的生活。其闽南语讲得比国语流利，与本省闽南人没有文化的隔阂，这也是他奠定在台湾演艺圈亲和力及地位的基础。14岁时，家境贫困的柯受良中断了学业，并开始帮家里的人从事渔业，天光未亮就跟着父亲出海。16岁时独自一人上了台北