Geldof vokste opp i nærheten av Dublin. Etter morens død i 1959 overtok hans storesøster oppgaven å ta seg av ham, og sendte ham til rn katolsk internatskole - . Geldofs frar Bob sr. døde i 2010 i en alder av 96 år.