Ministeriet ble grunnlagt 1. januar 1877 under navnet Riksjustiskontoret (). I 1919 fikk det status som føderalt departement. På grunn av Tysklands føderale karakter var justispolitikken overveiende forbundsstatenes domene før 1919, og mange områder av justispolitikken er fremdeles delstatenes ansvarsområde.