洋镇思贤村，是一座地接广东省的闽西客家庄，文风兴盛、保有中原士族纯朴遗绪。清朝咸丰年间，在吴伯雄的曾祖父（十三世祖）吴胜昌的带领下，与迁播至蕉岭的同宗支系十三世组吴会昌派下先后渡海迁台，落籍拓垦今桃园、新竹地区。尔后，吴伯雄的祖父吴荣棣来台后，在台成为光绪年间秀才，并为台湾文吟诗社社长，为当时台湾早期本土着名的乡土诗人，被现代历史学者誉为「文采德行、素孚桑梓」、「发皇汉学、厥功至伟」。而吴荣棣秀才育有八子三女，其中八兄弟有四位是医生，三子吴鸿麟，即为吴伯雄的父亲。吴鸿麟为日本九州大学医学博士、台北帝国