忠直が生まれた年に父・昌恒は武田勝頼に殉じたが、徳川家康は土屋家が絶えるのを惜しんで忠直を召し出し、徳川秀忠の小姓に取り立てた.
父・