Etter at de tyske krigsskipene hadde tatt seg inn til Bergen ga Ulstrup ikke opp kampen og fortsatte sjømilitære operasjoner mot invasjonsstyrkene. Den 17. april ble han utnevnt til sjef for Hardanger Sjøforsvarsavsnitt og Ulstrup organiserte motstand både til sjøs og på land. Fartøyene han rådde over ble samlet i Uskedal, for å hindre de tyske invasjonsstyrkene å trenge inn i Hardangerfjorden. Det kom til kamp og de norske fartøyene ble enten senket eller tatt av tyskerne.