I begynnelsen skrev han sanger som ble trykket og solgt i løssalg, dels brukt i Vaudeville. Det endelige gjennombruddet kom med i 1911. Siden fulgte en rekke suksessrike Broadway-musikaler og Hollywood-filmer. Han var aktiv frem til begynnelsen av 1960-tallet, da han trakk seg tilbake etter en fiasko med en musikal. Irving Berlin var autodidakt på klaver og lærte seg aldri noter. Han skilte seg ut fra de fleste andre amerikanske slagerkomponistene ved at han laget både tekst og melodi. Hans mest kjente verk er «White Christmas», som også vant Oscar for beste sang. Hvis man regner med alle innspillingene som ulike artister har gjort av denne, er dette stadig verdenshistoriens mestselgende sang.