Holler ble utnevnt til industriminister i Einar Gerhardsens tredje regjering. Han satt i stillingen i perioden (9. april 1959-4. juli 1963). Han var bare 34 år da han ble minister og ble dermed en av de yngste som er blitt utnevnt til statsråd til da. Sommeren 1963 søkte han avskjed som følge av at den såkalte Kings Bay-saken. Bare noen dager før han søkte avskjed hadde regjeringen på hengende håret unngått å bli felt på et mistillitsforslag som gjaldt de store budsjettoverskridelsene ved byggingen av Norsk Koksverk.