Hartmann ble midlertidig ekskludert fra Venstre i 1931 da han stemte mot egen regjering og sørget for at Johan Ludwig Mowinckel måtte gå av som statsminister. Bakgrunnen var Lilleborgsaken, der protokollkomiteen etter forslag fra Hartmann hadde lagt frem et forslag for Odelstinget om at regjeringen ikke burde ha gitt Lilleborg konsesjon til å kjøpe Denofa.