В 1931 году А. И. Рассохо поступил по комсомольской путёвке в РККФ. Окончил Севастопольское артиллерийское училище береговой обороны РККФ. Сначала служил на крейсере «Красный Кавказ» Черноморского флота. С июля 1936 года проходил службу на Тихоокеанском флоте (ТОФ) командиром БЧ-2 сторожевого корабля «Метель». В 1938 году окончил Специальные курсы комсостава РККА в Ленинграде, затем вернулся на тот же корабль. Участвовал в боевых действиях у озера Хасан в августе 1938 года. В 1939 году участвовал в боях на Халхин-Голе, где командовал отрядом речных катеров на реке Онон, выполняя задачи по переправе войск и военных грузов. С декабря 1939 года — помощник командира эсминца «Резвый» ТОФ. С августа 1940 года вновь на учёбе на курсах командиров кораблей при Военно-морской академии РККВМФ имени К. Е. Ворошилова, окончил их перед самой войной.