Som den mellomste av tre sønner til en jernbanearbeider begynte Ingmann å spille fiolin da han var ti år gammel. Etter at han var ferdig på skolen, begynte han på en utdannelse innen trykkeribransjen. Han sparte en del av det han tjente for å kjøpe sin første gitar. Senere forlot han den trygge jobben og ble med i orkestrene til Roger Henrichsen og Bertrand Bech. Under andre verdenskrig begynte han et samarbeid med Svend Asmussen, en av de mest kjente skandinaviske jazzmusikerne på den tiden.