Sangen ble gjenstand for kritikk i offentligheten da den ble gitt ut. Mange mente Lennon hadde skrevet sangen på bakgrunn av erfaringer med bruk av hallusinogenet LSD, siden initialene i låt-tittelens hovedord danner akronymet «LSD» (ucy in the ky with iamonds), og fordi så vel teksten som lydbildet er preget av slike sanseforstyrrelser som er typiske for en psykedelisk opplevelse. Lennon benektet sammenhengen, og hevdet at sangen var inspirert av en tegning som sønnen Julian hadde laget i 1966, forestillende et annet barn fra Julians barnehage (Lucy O'Donell). Både Lucy og Julian var tre år den gangen, og de gikk i barnehagen i Weybridge i Surrey. Lucy O'Donell, gift Vodden, døde 22. september 2009 av lupus.