Gotovina est né le sur l'île croate de Pašman, près de Biograd na Moru, d'un père pêcheur prénommé Milan qui tente de passer en Italie avec sa femme mais est pris par la police des frontières yougoslave. Elle est libérée mais Milan est emprisonné. Lorsque Gotovina a quatre ans, sa mère est tuée en le sauvant d'une explosion d'un chantier de construction. Il passe son enfance auprès de son grand-père maternel Šime à Pakoštane près de Zadar sur la côte dalmate. En 1971, à seize ans, il quitte la Yougoslavie (après deux tentatives avortées) et s’engage comme matelot. À Bordeaux, il embarque à bord d'un navire effectuant des allers-retours entre l'Europe et les États-Unis. Au bout d'un an, lors d'une escale en Italie, il décide de rejoindre la Légion étrangère, sous le pseudonyme d'« Ivan Grabovac » en 1973, trichant sur son âge. Il est affecté au REP et rejoint le groupe de commandos de recherche et d'action en profondeur, subissant notamment une formation de nageur de reconnaissance. C'est là qu'il rencontre Dominique Erulin, dont le frère, le colonel Philippe Erulin, est chef de corps du REP. Il participe aux missions d'assistance extérieure de la Légion étrangère à Djibouti, au sauvetage de Kolwezi au Zaïre, et en Côte d'Ivoire. Après cinq ans de service, il quitte la légion avec le grade de caporal-chef en 1978 et obtient la nationalité française en 1979.