Cobain hade musikvideoförslag för båda låtarna, där idéerna till "All Apologies" spånades fram tillsammans med Bobcat Goldthwait. Cobain ville till en början att handlingen skulle kretsa runt att han var berusad på en fest och att han hade en pistol. Goldthwait föreslog istället att Cobain skulle ta på sig rollen som Lee Harvey Oswald under tiden som han sätter ihop sitt gevär i Texas School Book Depository. Cobain gillade idén, men påpekade att MTV inte tillät vapen i sina musikvideor så Goldthwait föreslog att det skulle vara en paj istället och att den skulle kastas på John F. Kennedy, som skulle spelas av antingen Novoselic eller Grohl. I Cobains bok "Journals" förekommer två musikvideoförslag för "Rape Me" och de innehåller en scen i ett fängelse, videomaterial med blommor och sjöhästar samt en man som förbereds för en gynekologisk undersökning.