Kovich var født i Hibbing i Minnesota som sønn av serbiske innvandrere, og snakket serbisk serbokroatisk fra barndommen. Han tjenestegjorde i den amerikanske marinen i Stillehavet under andre verdenskrig, og studerte ved University of Minnesota.