לאחר פטירת מורו ורבו הרב צבי יהודה דבק ברב אברהם אלקנה כהנא שפירא. הרב שוורץ למד באמצע שנות השמונים אצל הרב זלמן נחמיה גולדברג בכולל הר צבי, ובמקביל לימד בישיבת עטרת כהנים ובישיבת מרכז הרב. לאחר שנתגלו חילוקי דעות בקשר לאינתיפאדה הראשונה בינו לבין ראש הישיבה, הרב שלמה אבינר, עזב אותה הרב שוורץ. לאחר מכן עבר לבית אל. כיום הוא מלמד בישיבת בית אל ובישיבת מרכז הרב.