部分的评论是赞扬的，但是评论家肯尼思·泰南使他们很恼怒，因为他认为费雯丽平庸的才能导致奥利维尔水准也因而下降。泰南的诽谤几乎导致费雯丽又一次崩溃。害怕失败并想获得成功的费雯丽反复咀嚼他的评论，而忽略了其他评论家正面的评价。1953年1月，费雯丽与彼得·芬奇一起前往斯里兰卡拍摄《象宫鸳劫》。影片开拍后不久，她经历了一次精神崩溃。派拉蒙电影公司请来伊丽莎白·泰勒顶替她的角色。奥利维尔陪伴她回到了英国的家中，费雯丽告诉他自己已经爱上了芬奇，并和他有了暧昧关系。她在几个月内逐渐康复。这次发病使许多奥利维尔的朋友