Schmerling ble født inn i en adelig familie, og gikk tidlig inn i statstjeneste. Han gjorde karrière i domstolene, og ble i 1846 utnevnt til dommer i ankedomstolen (Appelationsrath).