Når det gjaldt nabolandene fulgte Gaddafi Gamal Abdel Nassers idéer om pan-arabisme, og ble en sterk forkjemper for å samle alle arabiske stater i en arabisk nasjon. Han støttet også pan-islamisme, tanken om en løs union av alle islamske stater og folk. Etter Nassers død 28. september 1970, prøvde Gaddafi å overta rollen som ideologisk leder av den arabiske nasjonalismen. Han proklamerte «Føderasjonen av arabiske republikker» (Libya, Egypt og Syria) i 1972 og håpte å skape en pan-arabisk stat, men de tre landene var uenige om spesifikke sider ved unionen. I 1974 signerte han en avtale med Tunisias leder Habib Bourguiba om en union mellom de to landene, men heller ikke dette forsøket fungerte i praksis. Etterhvert utviklet forskjellene mellom disse to landene seg til sterk fiendtlighet.