Bošković var det syvende barnet til Nikola Bošković og Paola Bettera. Faren var serber eller kroat og kom fra landsbyen i det som nå er Bosnia-Hercegovina, og flyttet til Ragusa der han traff moren. Ruđers mor, Paola, tilhørte den veletablerte ragusiske familieen Bettera som opprinnelig hadde sine røtter fra det nordlige Italia.