Литературная память о Розенгейме главным образом держится на рецензии, которую посвятил 1-му изданию его стихотворений Н. А. Добролюбов. Для критика «Современника» Розенгейм был ярким олицетворением той дешёвой «смелости» и «прогрессивности», которая обуяла в эпоху реформ и либерализации режима после крымской кампании даже людей, по существу ничего общего с действительно серьёзными общественными стремлениями не имевшими. Добролюбов смеялся над «гражданским» пафосом, с которым Розенгейм ставил «смелые» тезисы вроде следующих: не надо брать взяток, надо говорить всегда правду, служить «честно» и т. д. И действительно, когда кончилась мода на прогрессивность, Розенгейм всецело перешёл в лагерь банального патриотизма. Столь же неодобрительно, как и Добролюбов, отнеслись к Розенгейму и критики-эстетики, например Дружинин. По оценке Энциклопедического словаря Брокгауза и Ефрона, «главный недостаток Розенгейма — крайняя неровность и невыдержанность, временами даже неряшливость фактуры, расплывчатость и отсутствие какой бы то ни было определённой мысли и настроения; иногда трудно распознать, против кого и против чего воюет этот неудачный представитель „обличительной“ и „гражданской“ поэзии. Чисто художественных достоинств — образности, меткости, колоритности — у Розенгейма совсем нет».