賃貸借契約において居住権は法的にも認められており、相応の過失がなければ退去させることは基本的にできません。貸主様も契約内容を認識されているので、交渉したことで退去を強制されることはありません。