不过，随着中巴管治问题日益恶化，舆论批评他的为人变得低调、固执和斤斤计较；在五、六十年代受到港府重用的他，在这个时候已经卸下大部份公职一段时间，与港府的关系不如昔日般密切，传闻曾经拒见运输署官员的他甚至被形容犹如「活在自己的幻想」。此外，颜成坤委任女儿颜洁龄担任中巴执行董事，但颜洁龄却被认为与劳方和政府关系欠佳。有传言曾指颜洁龄喜爱在深夜时份约见运输署官员，而且以隔夜西饼款待他们；又曾经在工潮谈判中以铁尺敲打水杯的方式吓退劳方代表。也有传言指出，港府曾经私下点名要求颜洁龄辞任中巴执行董事，但被拒绝。外界对中