Konrad ble født i Montferrat som i dag er en region av Piemonte i nordvestlige Italia. Det nøyaktige stedet og fødselsåret er ikke kjent. Han ble først nevnt i et charter i 1160 da han var i tjeneste hos sin onkel på morsiden, Konrad av Babenberg, biskop av Passau, senere erkebiskop av Salzburg. Det er mulig at han ble oppkalt etter onkelen, eller morens halvbror, Konrad III av Tyskland. Han var antagelig rundt 15 år i 1160.