Under storebroren Boleslav III måtte Jaromir flykte med sin mor og lillebroren Oldřich til Regensburg.