手吴乙安为吴思明的同父兄长。自幼涉猎广泛，兼及佛、道，并雅好现代文艺，1947年全家移居香港，吴思明始进入香港新法书院就学，接受现代正规教育。吴思明从小就喜欢阅读各类书籍，对新奇古怪的东西很有兴趣，因此对于经史子集、诗词歌赋、琴棋书画、金石铭刻、土木建筑、堪舆风水、兵法战阵，甚至是花道、茶道及版本之学，都有所涉猎，知识学问可谓广博。加上父亲吴履逊一生喜爱古玩字画，还曾经在台北开古董店，为以后创作参照，举凡其作品中提到的中国传统文化，如诗词曲赋、琴棋书画、儒道墨释、医卜星相、典库文物、传说掌故……都与