С наступлением Крымской войны Зарубаев, по собственному желанию, был снова отправлен в свой полк, участвовал с ним в делах на Дунае и при осаде Силистрии, а в апреле 1855 г. отправился в Севастополь. Здесь в течение 5-ти месяцев, находясь в передовой оборонительной линии, Зарубаев участвовал в геройской обороне Севастополя и при отбитии штурма 29 июня был контужен осколком бомбы в голову. За боевые заслуги в этих делах он был награждён чином штабс-капитана и орденами св. Анны 3-й степени с мечами и св. Станислава 2-й степени с мечами.