Jolly Kramer-Johansen ble født i morfarens hus, Tverrbakken 11, på Torshov i Oslo. Foreldrene var vever og oppfinner Oscar Kristian Johansen, (1875–1932), og kone Signe Otilie Johansen, f. Johansen, (1880–1963) Hans fødenavn var Jolly Henry Johansen. På 1920-tallet tok han Kramer-Johansen som kunstnernavn, men også hans mor brukte senere dette navnet.