Han var sønn av en godseier, gikk på Collegium Fridericianum og studerte fra 1844 rettsvitenskap ved universitetene i Königsberg og Heidelberg. I 1856 ble han utnevnt til fylkesdommer i Heiligenbeil. I 1877 ble Passarge dommer i Insterburg og i 1879 i Königsberg. I 1887 gikk han i pensjon.