Воспитанник ивановского футбола. Отец Сергей Львович Зернов играл в Первой лиге за местный «Текстильщик» и привёл Александра в СДЮШОР «Текстильщик», где он занимался под руководством Владимира Александровича Скоропеева. В 17 лет Зернов попал в «Текстильщик», в котором играл до 1995 года, а затем перешёл в волгоградский «Ротор», дебютировал в матче с «Манчестер Юнайтед» в 1/32 финала Кубка УЕФА. В составе команды стал серебряным (1997) и бронзовым (1996) призёром чемпионата, в 1997 вошёл в список 33 лучших футболистов чемпионата России под 3 номером.