Gerholm fullførte gymnaset på Norra Latin i Stockholm. Studiene fortsatte ved Stockholms högskola, der kjernefysikk-forskning ble bedrevet på Nobelinstitutet i Frescati. Forskerstudier ved Kungliga Tekniska högskolan fortsatte ved Uppsala universitet, der han disputerte for sin doktorgrad i 1956 med en avhandling om kjernefysikk. Årene deretter fortsatte han som forsker (dosent) i Uppsala med et års avbrudd for et oppdrag i Argentina for UNESCOs tekniske bistand. Han var gjesteforsker ved Lawrence radiation laboratory, Berkeley i California, ved Columbia University i New York og ved Universitetet i Groningen i Nederland.