באותם ימים הגיע לעיר איש אחד על מנת לשבת ולהגות בתורה. איש זה היה בקי גם במתמטיקה, ושכנע את יצחק יעקב ללמדו מתמטיקה שעה ביום. הוא התחיל ללמדו את הספר "כליל החשבון" לרבי דוד פריזנהויזן, אך חוסר ידיעותיו של הנער בתורת ההגיון הקשתה עליו את הלימוד. בעצת האיש למד את הספר מלות ההגיון, אשר השפיע עליו באופן חזק, והוא החל להשתמש ביסודות ההגיוניים של המתמטיקה גם בלימוד הגמרא והפוסקים. הרב ריינס העיד על עצמו, כי "אור חדש הופיע אז עלי בדרכי לימודי, ומני אז הכה הלימוד הזה שורש בלבי עמוק עמוק".
ריינס נסע ללמוד בישיבת וולוז'ין הידועה ומשם עבר לאישישוק. בישיבות אלה המשיך לשקוד על התורה, ונחשב בעיני חבריו ורבותיו ל"מתמיד". הוא רכש לעצמו ידיעה רחבה בתלמוד בבלי ובתלמוד ירושלמי ובספרי הראשונים, ושמו יצא לתהילה כאחד הבחורים המצוינים בישיבה. בגיל שמונה עשרה התארס לבתו של הרב יוסף רייזין שהיה רבה של העיר דויד-הרדוק ונישא לה בגיל תשע עשרה. לאחר חתונתו החל לסדר את חידושי התורה שלו. במשך שלוש שנים חיבר שלושה חיבורים תורניים: "ראשית בכורים" – חידושים על ארבעת חלקי השולחן ערוך; "שואל ומשיב" – שאלות ותשובות להלכה למעשה ו"שותא דינקותא" – קובץ חידושים מימי צעירותו.
חדשנות בכתביו.
בשנת 1867 נבחר לרב העיר שוקיאן (Šaukėnai). בעקבות משפט מסובך שבא לפניו, התעמק בהלכות עדות וכתב בנושא זה את ספר השו"ת "עדות ביעקב".
באלול ה'תרכ"ט (1869) נבחר לרב העיר שווינציאן. שם התחיל לחבר את הספר "דרך בים", בו התווה שיטה חדשה בלימוד התלמוד המבוססת על חוקי ההיגיון המתמטיים.
כדוגמה לשיטתו זו הוציא את ספר "חותם תוכנית". ספר זה הכה גלים בחוגי הלומדים, ורבים מגדולי ישראל וחכמיו שלחו לו מכתבי הערכה והוקרה. למרות זאת עורר הרב ריינס גם ביקורות שליליות וחריפות לספרו מצד חוגים שחששו מהכנסת שיטות מודרניות ובלתי מקובלות בלימוד התלמוד, וכך הפכו הרב ריינס ושיטתו להיות מוקד של מחלוקת בעולם לומדי התלמוד.
בנוסף לספריו שפורסמו, נשמרו כתבי יד רבים של חידושי תורה ודרשות שלא ראו אור בדפוס.
סוגיית היתר המכירה.
הרב ריינס החל ללבן את סוגיית היתר המכירה במהלך תשרי ה'תרמ"ח (1887), ובמהלך השנה חיבר ספר נרחב בנושא זה בשם "וזה דבר השמיטה". מסיבות שונות ספר זה לא יצא לאור, וכתב היד שלו נשרף בשריפה גדולה בלידא בחול המועד סוכות ה'תרנ"ב (1891). עם זאת, כתב הרב ריינס מאמר המהווה תקציר לספר זה, תחת אותה כותרת. כתב היד של טיוטת המאמר "וזה דבר השמיטה", לצד נספחים הנוגעים לסוגיית השמיטה בהגותו של הרב ריינס, וכן ומבוא על תולדות חייו המחבר יצא לאור כעבור 134 שנה מאז כתיבת החיבור, בשנת ה'תשפ"ב (2022), בהוצאת מכון הר ברכה ובעריכת הרב ד"ר בועז הוטרר.
שילוב לימודי קודש וחול.
הרב ריינס עסק רבות בשאלת דרכי הלימוד והחינוך. הוא ידע כי צעירים יהודים רבים, נושאים את עיניהם ללימודים כלליים ולהשכלה במקצועות המדע השונים, אשר לא נמצאו במוסדות החינוך הקיימים בעולם היהודי בהם עסקו רק בלימודי קודש. יהודי שרצה לקנות השכלה כללית ומדעים, חייב היה ללמוד בגימנסיה או באוניברסיטה, אשר לרוב לא היו פתוחות בפני יהודים בכלל, ובפרט בפני יהודים שומרי תורה ומצוות המקפידים בלבושם המסורתי. רבים מבין אלו שהתענינו בהשכלה מסוג זה נטשו את דרך התורה.
הרב ריינס ראה את הסכנה הטמונה בקרע זה, וחשב כיצד ניתן למנוע את המצב או לפחות לצמצמו. הוא הגיע למסקנה ששורש הבעיה טמון בכך שהצעירים שחושקים בהשכלה ובמדע, נאלצים "לרעות בשדות זרים" מפני שאינם יכולים למצוא דברים אלה בביתם. הרב ריינס שהיה משוכנע, שתורה ולימודי חול משלימים זה את זה ועולים בקנה אחד, הדרך לתיקון המצב יימצא על ידי הכנסת שינויים בסדרי החינוך שבישיבות, דהיינו על ידי הכנסת לימודי חול לתוכנית הלימודים וכשהצעירים יקבלו את אשר הם חפצים בגלוי בישיבה הם לא יחפשו זאת בסתר.
ייסוד ישיבת "תורה ודעת".
בשנת 1882 בפטרבורג שברוסיה התאספו גדולי הרבנים ומנהיגי הקהילות לדון בבעיית היהודים. בהתכנסות זו העלה הרב ריינס את הצעתו, להכניס לתוך תוכנית הלימודים של בתי הישיבות גם לימוד שפת המדינה ויתר המדעים הכלליים. אך הוא נתקל בהתנגדות עזה מצד זקני הרבנים. הרב ריינס לא התייאש והחליט להקים בכוחות עצמו ישיבה כזאת שתשלב בתוכה לימודי קודש ולימודי חול.
באתו הזמן כיהן הרב ריינס ברבנות העיר שווינציאן, ושם ייסד את הישיבה הראשונה שבה נלמדו גם לימודי חול. שם הישיבה היה "תורה ודעת". הייתה זו מהפכה גדולה ובעיני רבים הדבר התקבל כחילול הקודש, והיו אף כאלה שהתנכלו לרב ריינס ולישיבתו, עד שלבסוף נאלץ הרב לסגור את הישיבה, לאחר שהתקיימה במשך ארבע שנים.
לאחר סגירת הישיבה התקבל הרב ריינס בשנת 1888 לתפקיד מגיד-מישרים של קהילת וילנה (לאחר שהרב יעקב יוסף עבר לניו יורק), ולאחר שקיבל הצעה מהקהילה היהודית במנצ'סטר שבאנגליה התיישב שם לזמן קצר של שלושה חודשים בלבד. למרות התנאים והשכר הגבוה, לא מצא הרב ריינס בקהילה זו מקום מתאים לפעילותו הרוחנית וחזר לרוסיה. בשובו לרוסיה התקבל כרב של העיר לידא, שם ייסד מחדש את ישיבת "תורה ודעת" בשנת 1905.
על אף תמכתו במפעל הציוני והקמת המזרחי סירב בתוקף לשייך את הישיבה לתנועת ה"מזרחי", לדידו ישנה ציונות וישנה ישיבה, ושני אלה הם דברים נפרדים. הרב ריינס דגל בחינוך טבעי, לפיו הכרה הוליסטית של החומר מובילה את האדם להשקפת עולם מסוימת ואין צורך להטיף להם מבחינה פוליטית.
הרעיון הציוני.
תחילת הרעיון הציוני הגיע כבר בימי צעירותו. עוד בהיותו צעיר הגיעו לאוזניו דבריו של הרב צבי קלישר ועל תוכניתו להקמת "חברת ארץ נושבת". הרב ריינס הוקסם מרעיונותיו של הרב קלישר ושיגר אליו מכתב ובו תוכנית רחבה להרחבת הגשמת תוכניותיו. הרב קלישר התרשם מאוד ממכתבו של הרב ריינס ונשאר עמו בקשרי מכתבים בנוגע לנושא של היישוב בארץ ישראל.
משפיע נוסף על הגותו הציונית של הרב ריינס היה הרב שמואל מוהליבר, שהיה אחד המנהיגים הבולטים של תנועת "חובבי ציון" ורבה הראשי של היהדות הדתית בתוכה. הרב ריינס נפגש עם הרב מוהליבר מספר פעמים והציג בפניו את תוכניותיו להרחבת הפעילות היהודית הדתית במסגרת תנועה זו. הוא היה סבור שחסרונה של "חיבת ציון" הוא בכך, שהיא איננה מקיפה המונים, אלא רק מתעסקת בקטנות. לפי דעתו צריך לקשור התיישבות בארץ ישראל יחד עם מפעל חינוכי גדול.
אחת מתוכניותיו של הרב ריינס הייתה להקים רשת רחבה של בתי ספר ברמות וסוגים שונים שבאמצעותם תיהפך ארץ ישראל למרכז התורה של העם היהודי. הרב מוהליבר ראה בתוכניתו של ריינס תוכנית דמיונית מדי ובשל המחסור באמצעים דחה תוכנית זו.
הצטרפות לתנועה הציונית.
הרב ריינס היה "חובב ציון" נלהב. מצבם של היהודים ברוסיה העסיק אותו מאוד, והצורך במציאת דרכים נכונות להקל על גורלם לא נתנה לו מנוח, והוא הקדיש לכך מחשבה רבה.
כשפרסם הרצל את ספרו "מדינת היהודים", ואחרי כן כינס את הקונגרס הציוני הראשון בבזל, עקב הרב ריינס בדריכות אחר המתרחש. הוא המתין שנתיים מיום כינוס הקונגרס עד שהצטרף לתנועה הציונית. במשך שנתיים אלה, כך הסביר בספרו "שני המאורות", חקר והתבונן בכל פרט ופרט מן הנעשה בתנועה חדשה זו. דרש וחקר "לטיבו של האיש העומד בראשה, אם הוא ראוי לעמוד בראש תנועה לאומית כזאת, כמה יש לסמוך עליו וכמה הוא מוכשר לתפקיד זה", ורק לאחר שהשתכנע, כי מוקמת תנועה חיובית ולאחר שעמד על "גודל רוחו" של ד"ר הרצל, מנהיג התנועה, הצטרף אליה.
ראשית השתתפותו בפעולות התנועה הציונית הייתה בקונגרס הציוני השלישי שהתקיים בשנת 1899 בבזל. הקונגרס עשה עליו רושם גדול, וההשתתפות בו הייתה בשבילו חוויה מרוממת. בעצם ההתכנסות של יהודים מכל קצוות תבל, בהם אנשים מסוגים שונים, בעלי דעות שונות המתאחדים סביב רעיון תקומת ישראל והצלתו, ראה הרב ריינס רעיון חשוב כשלעצמו.
על פי עדותו של הרב ריינס עצמו באחד מספריו, לאחר שהתפרסם דבר השתתפותו של הרב ריינס בקונגרס הציוני, באו אליו כמה מראשי המתנגדים לציונות וניסו לשכנעו לעזוב את תנועת הציונות, משום שחששו שהצרפותו לתנועה תגרור אנשים נוספים להצטרף אליה. דברים אלו רק גרמו לרב ריינס להאמין בצדקת דרכו, "כי ראיתי כמה שאין שום ממש בדבריהם". הרב ריינס מספר, שאחר כך בא אליו "אחד מן היותר מפורסמים שבמדינתנו" (הוא החפץ חיים), ושוחח עמו שיחה ארוכה במטרה לשכנעו לעזוב את הציונות, בין מחמת הטעות שבדרך זו, ובין מחמת הבזיון שיגרום לעצמו אם ישאר שם. הרב ריינס דחה את כל טענותיו, והוסיף שלדעתו "לא לבד שאין להתרחק מהתנועה (הציונית), כי עוד חוב קדוש יש על כל אחד ואחד מישראל להתחבר אליה".
את דעותיו והשקפותיו על הציונות ומנוקדת שיפוט דתית הוא פרסם ספר מיוחד בשם "אור חדש על ציון" בשנת 1902. בספרו הוא דן בכל השאלות והטענות מצד מתנגדי הציונות. בתוך הטענות נגד הציונות הוא מזכיר כי אין בסיס לטענה שאומרת שהתנועה הציונית לא ממקור קדוש.
בתשובות ברורות והגיוניות הגיע למסקנה כי לפיו אם יש מקום לייחס כזה הוא משתי סיבות: או כי החופש מסבב את הציונות או כי הציונות מסבבת את החופש, האמת לדעתו היא שרק קדושת הארץ גורמת לזה שגם החופשים משתתפים בתנועה זו.
העובדה שרבים ממשתתפי הקונגרס באו אל התנועה הציונית על סף התבוללות, היא זכות גדולה לתנועה. אף על פי שחלקם הגדול הוא חופשי בדעות ואינו מקיים מצוות, הרי עצם השתתפותם בתנועה הציונית היא שיבה אל היהדות –
הוא ברך על העובדה שרבים אשר היו נותנים עד כה מכישרונם לנכרים בארצות מגוריהם הנה מעתה הם ישקיעו את כל כוחם ומרצם בעבודה לצורכי עמם.
הקולטורה.