Universitetet ble grunnlagt i det daværende Vest-Berlin i 1948. Årsaken var at Humboldt-universitetet under den kalde krigen hadde havnet i den sovjetokkuperte delen av byen, og at det dermed var behov for et nytt universitet i det frie Vest-Berlin. Dannelsen av universitetet kom som direkte følge av kommunistenes forfølgelse av studenter i Øst-Berlin og de politiske føringene som Humboldt-universitetet ble underlagt. Navnet skal forstås i betydningen at universitetet lå i den frie verden som kontrast til Øst-Berlins og Humboldt-universitetets «ufrihet». Det gjenspeiles også i mottoet «Veritas, Iustitia, Libertas» (sannhet, rettferdighet, frihet). Freie Universität Berlin bygget personalmessig og kulturelt på Humboldt-universitetet før delingen av Berlin og var i praksis en vestlig etterfølgerinstitusjon. Det ble med en gang Vest-Berlins ledende universitet og et av de mest anerkjente i Tyskland. Universitetet er internasjonalt særlig kjent for sin forskning innen humaniora, samfunnsvitenskap og naturvitenskap.