その後、映画界の斜陽、時代劇の衰退によって、東映は撮影所の合理化とスタッフや俳優などの人員整理を断行、また時代劇から任侠路線への転換を行うが、それに反発した錦之助は、1966年春に東映を退社、活躍の場をテレビと舞台に求める。