Gramer kom fra et borgerlig miljø. Faren var høyremann og lærer i Enebakk. Kåre Gramer ble senere lærer og rektor samme sted.