Frimann var født og oppvokst i Selje i Nordfjord, der faren var sokneprest. Han ble undervist først av faren, siden av en huslærer. Da Claus var 13 år døde faren, og han ble av moren, Sara Cold Frimann, involvert i styret av familiens jordeiendommer.