Ferrabosco var uekte sønn av komponisten Alfonso Ferrabosco den eldre, en italiensk komponist som virket i England i lengre tid. Moren kan ha vært Susanna Symons, som faren senere giftet seg med. Fram til 1592 var Ferrabosco under formynderskapet til Gomer van Awsterwyke, en av dronning Elisabeth Is hoffmenn. Faren ba om å få ta sønnen med til Italia der han bodde sammen med sin hustru, men dronningen nektet ham dette. Dermed ble Ferrabosco den yngre igjen i England, han arbeidet som hoffmusiker og musikklærer for prins Henry.