I valgkampen før stortingsvalget i 1936 ga Hjort alt. Samtidig var han presset av interne intriger i NS og vissheten om at han forsaket familien fremfor politikken. NS gjorde et dårlig valg og ble på nytt stående uten stortingsrepresentanter. I det interne oppgjøret etterpå lanserte Hjort vidtgående organisatoriske endringer. Hjorts forslag ble avvist, og utover høsten 1936 ble konflikten mellom ham og NS skjerpet. I februar 1937 meldte han seg så ut. Flere andre sentrale personer forlot NS på denne tiden.