Kai Holst arbeidet for og delte dekkleilighet med Jens Christian Hauge i Oslo et halvt års tid. Holsts kjæreste og senere kone, Margrethe Corneliussen, stelte for de to karene og var selv dypt involvert i motstandsarbeid. I sin rapport om arbeidet under krigen ga Jens Christian Hauge en svært god attest til «Kaka», som Kai Holst ble kalt, og fremhevet ham spesielt blant medarbeiderne. Da kjemikeren Jomar Brun (sentral i produksjon av norsk tungtvann) og hans hustru måtte flykte til Sverige, var det Holst som gjennom Milorgs sambandssjef Salve Staubo organiserte dekkleilighet for paret i Oslo. Det var også Holst som gjennom Staubo rekrutterte Milorgs legendariske våpensjef Bror With.