В Красной Армии с 1926 года. После учёбы в полковой школе служил помощником командира взвода и старшиной батареи. В 1932 году окончил Военно-политическую школу имени Ф. Энгельса в Ленинграде, после чего был назначен политруком роты 36-й мотострелковой дивизии. После окончания в 1936 году артиллерийских курсов усовершенствования командного состава, продолжал службу командиром батареи, артиллерийского парка, начальником артиллерийского снабжения дивизии, а с октября 1938 года — командиром артиллерийского дивизиона. Участник боёв с японскими милитаристами на реке Халхин-Гол с 11 мая по 16 сентября 1939 года. Командир артдивизиона 175-го артиллерийского полка майор Александр Рыбкин отличился в ходе генеральной наступательной операции советско-монгольских войск по окружению и уничтожению японских войск.