Josip Alebić begann 1962 mit der Leichtathletik im Atletski klub Split. Er nahm an drei Olympischen Spielen teil. Bei seinen ersten Spielen 1972 in München schied er im Vorlauf des 400-Meter-Laufs aus. In Montreal 1976 und Moskau 1980 erreichte er jeweils das Viertelfinale über 400 Meter. Bei den Halleneuropameisterschaften 1975 gewann er über dieselbe Distanz die Silbermedaille. Beim ersten Leichtathletik-Weltcup 1977 in Düsseldorf gewann er mit einer europäischen 4-mal-400-Meter-Staffel ebenfalls Silber. Auch bei den Mittelmeerspielen 1975 war Alebić erfolgreich und gewann sowohl mit der 4-mal-400-Meter-Staffel als auch über 400 Meter. Bei den folgenden Mittelmeerspielen 1979 errang er zudem eine Silber- und eine Bronzemedaille.