På 1950-tallet forlater Margaret Ulbrich sin daværende ektemann, og tar med seg sin unge datter Jane til North Beach, San Francisco. Der skaffer hun seg jobb med å male illustrasjoner for en møbel-fabrikk. Når hun fotograferer ved en utendørs kunst-utstilling møter hun Walter Keane, som selger malerier av gate-scener. Men han tjener penger på eiendom, og snart blir de nære venner. Margaret blir snart fortvilet når den tidligere ektemannen hennes ber om ansvaret for datteren deres som en del av skilsmisse-oppgjøret deres. Walter frir til henne, de gifter seg kort tid senere og drar på bryllupsreise til Hawaii. Hun beholder ansvaret for Jane, fra sitt tidligere ekteskap. Ute av stand til å få hans eller Margarets malerier inn ved noen anerkjente kunst-gallerier, overtaler Walter eieren av en populær jazz-klubb - Enrico Banducci - om å leie ham litt vegg-plass for å stille ut arbeidene deres.