Николай Хромов родился 7 ноября 1946 года в Калуге. Начал заниматься боксом в возрасте 13 лет под руководством Константина Токаева. Наибольших успехов в своей спортивной карьере добивался на рубеже 1960-х и 1970-х годов. В 1970 и 1971 годах становился чемпионом СССР в лёгком весе, в 1971 году завоевал также бронзовую медаль чемпионата Европы.