જો કે, તેમની મુશ્કેલીઓ ખરેખર 1584 ની આસપાસ શરૂ થઈ, જ્યારે તેમણે તેમની પુસ્તક ડેલ ઇન્ફિનિટો, યુનિર્વસો ઈ મોન્ડી ( અનંત, બ્રહ્માંડ અને વિશ્વ ) પ્રકાશિત કરી.