У музеї експонувалися археологічні знахідки, старожитності місцевого краю, кам'яні статуї, а також реліквії Давнього Єгипту, Античної Греції, монети, зразки різних гірських порід, палеонтологічні останки. Найвизначнішою пам'яткою вважалася мумія єгипетської жінки з дитиною, яка і сьогодні зберігається в музеї (за легендою вона була привезена губернатором А. Я. Фабром з Одеського краєзнавчого музею під час Кримської війни 1854—1856 років). Перше десятиріччя з часу заснування було найкращим часом для "«Общественного музеума»". Захоплені ідеєю нового музею, містяни, любителі історії й старовини жертвували гроші на музейне обладнання та інші придбання, приносили в музей нові експонати.