Родился 19 февраля (3 марта) 1826 г. в селе Черный Верх Белёвского уезда Тульской губернии (теперь Арсеньевский район Тульской области). Воспитывался в Морском кадетском корпусе, из которого в 1841 г. выпущен гардемарином и 30 декабря следующего года произведён в мичманы. 3 апреля 1849 года произведен в лейтенанты. При истреблении турецкой эскадры на Синопском рейде Шварц, в чине лейтенанта, числился в 33-м флотском экипаже и находился на корабле «Чесма», за отличие был награждён орденом св. Владимира 4-й степени с мечами и бантом. Во время Севастопольской обороны командовал знаменитым редутом на левом фланге 1-го отделения оборонительной линии. Этот редут являлся одним из опаснейших пунктов нашей позиции и носил имя своего командира; 6 декабря 1854 г. Шварц был удостоен ордена св. Георгия 4-й степени: