Han vokste opp i Brønnøysund, der faren Einar Grimsø var privatpraktiserende advokat og kommunepolitiker. Farfaren var stortingsmann og ordfører Andreas Grimsø på Vega.