Nacido en Hurstville, Brabham fue un australiano de segunda generación, hijo de un almacenero del suburbio de Hurstville, Nueva Gales del Sur, Sídney.