说留在了讃岐国，详情未知。不久回到畿内，与南朝势力新田义贞交战。正平二年，引兵攻打河内国的南朝将领楠木正行，遇到伏击而大败，显氏退保天王寺。另有一说爲显氏遭到正行夜袭而败。足利尊氏听闻败讯后派遣山名时氏救援显氏，但二人一并被南朝军打败。正平三年，副将军足利直义与政所执事高师直对立，显氏属于直义一派，与其一起投靠了南朝建武政权，攻击足利尊氏。直义逃亡越前国后，显氏又回到幕府麾下。并受尊氏命令，前往劝说直义放弃军权，但却被直义拘留。直义反而命令他在八相山抵抗尊氏。显氏对其惨淡的战绩深感耻辱，要求出家，足利尊氏劝