מאז התמסדות בית המקדש בתקופת שלמה ועד גלות בבל, היה בית המקדש המקום היחיד בו נערכה עבודת האל והמקום היחיד בו הותר ליהודים להקריב קורבנות, אם כי היו פרצות גם בכלל זה והיו מעט מקרים בהם נוצרו מקומות פולחן חליפיים לבית המקדש. בתי כנסת החלו להופיע בעקבות גלות בבל לאחר חורבן בית המקדש הראשון, אז היה חשש בקרב מנהיגי העם כי ללא בית מקדש העם ישכח את יהדותו. בתקופת בית שני התקיימו בתי כנסת בכמה מקומות בארץ ובתפוצות. כך, למשל, בית הכנסת שאותר בגמלא שברמת הגולן, אשר היה פעיל עד המרד הגדול. בתלמוד הירושלמי מסופר כי עוד לפני חורבן הבית השני היו בירושלים 480 בתי כנסת. קיום בתי כנסת בירושלים בימי הבית השני עולה גם מכתובת תאודוטוס בן וטנוס שנמצאה בעיר דוד. עם זאת, אין עדות כתובה או עדות אחרת לכך שבבתי הכנסת של אותה עת נערכו תפילות.
לאחר חורבן בית המקדש השני עלתה חשיבותו של בית הכנסת, כאשר החלו לקיים בו תפילות. התפילה בו היוותה תחליף לעבודת הקורבנות בבית המקדש.
בתקופת המשנה והתלמוד שימש בית הכנסת למטרות נוספות: לענייני ציבור, כגון – עזרה הדדית וצדקה, וללימוד תורה. ללימוד התורה בבתי הכנסת, יוחסה מעלה מיוחדת יותר מלימוד בבתי מדרש, ונאמר כי יש בו סגולה לזיכרון תלמודו, "ברית כרותה היא, היגע בתלמודו בבית הכנסת לא במהרה הוא משכח" (דברי רבי יוחנן בתלמוד ירושלמי, מסכת ברכות פרק ה הלכה א).
בימי הביניים קיבל בית הכנסת תפקידים נוספים: הוא שימש כבית מדרש לציבור הרחב והייתה בו ספרייה תורנית. על מנת לגרום גם לנשים להגיע לתפילות הוקמה עזרת הנשים, מקום נפרד או חלל מופרד על ידי פרגוד או מחיצה כלשהי, בו היו הנשים והנערות משתתפות בתפילה. מבואת בית הכנסת או מקום בחצרו שימשו כמקום קבלת עצות בנושאי הלכה ומקום בו פסקו הרבנים פסיקות הלכה ודנו בנושאים שבין אדם לרעהו. תוספות אלו גרמו למרכזיותו של בית הכנסת בהוויה היהודית, הן מבחינה רוחנית והן מבחינה ארגונית.
תפילה במניין.
כדי שתפילה תיחשב כ"תפילה בציבור" נדרש מניין - מינימום של עשרה גברים בוגרים בני 13 ומעלה. "ומנין לעשרה שמתפללין ששכינה עמהם? שנאמר אלהים נצב בעדת אל" (תלמוד בבלי, מסכת ברכות דף ו עמוד א). כאשר התפילה אינה נערכת במניין, כלומר, כאשר מתפללים פחות מעשרה גברים בני 13 ומעלה, ישנם קטעים בתפילה שאינם נאמרים. אסור לומר קדיש ו"ברכו", קדושה וקריאת התורה, שנחשבים לחלקים המקודשים של התפילה, וכן אין נאמרת חזרת הש"ץ. מקובל כי תפילה במניין מתקיימת בדרך כלל בבית הכנסת, ומכאן שמו - מקום התכנסות לתפילה.
מבנה בית הכנסת.
אם כי ההלכה לא קובעת הנחיות לגבי מבנהו של בית הכנסת, התקבלו במהלך השנים מספר עקרונות המיושמים בכל בתי הכנסת באשר הם.
ארון קודש.
בעבר היו מאוחסנים חפצי הקודש, ובעיקר ספרי התורה, בתיבה אשר הובאה מחדר אחסון אל אולם התפילה ובסיום התפילה הוחזרה לחדר האחסון. עם השנים הושארה התיבה באופן קבוע באולם התפילה, שינתה את צורתה לצורת ארון והוצבה בכותל הפונה לכיוון ירושלים ומקום המקדש. מקובל בבתי הכנסת הספרדים לכנות מקום זה היכל ובבתי הכנסת האשכנזים מכנים מקום זה ארון קודש. בדרך כלל אזור זה מוגבה משאר בית הכנסת. לפני ארון הקודש, נמצא בדרך כלל שטיח שעליו עומדים הכהנים בעת ברכת כהנים (לקראת סוף חזרת הש"ץ).
בימה.
באמצעו של בית הכנסת האורתודוקסי יש אזור מוגבה נוסף - הבימה, ובה תיבה - כמין שולחן שעליו מניחים או מעמידים (תלוי במנהג) את ספר התורה בעת קריאת התורה. בבתי כנסת רפורמיים הבימה נמצאת בחזית ארון הקודש.
חזן.
בבתי הכנסת האשכנזיים נמצא בקדמת בית הכנסת סמוך לארון הקודש, העמוד, שלידו עומד שליח ציבור - חזן. בבתי הכנסת הספרדיים, התימניים והאיטלקיים לא קיים כלל עמוד, ובכל התפילות מקום החזן הוא בתיבה בלבד.
אמנם לעיתים אף אצל הספרדים החזן עומד במקומו של הש"ץ (כמו בקרבנות טרם פסוקי דזמרה) וכן אצל האשכנזים לעיתים מקומו של החזן הוא בבימה, (קבלת שבת בנוסח אשכנז).
סדר ישיבה.
בבתי כנסת אשכנזיים כל הקהל יושב כשפניו לארון הקודש, למעט "כותל המזרח" בו יושבים רבנים ונכבדים נוספים מצידי ארון הקודש ופניהם לקהל. בבתי כנסת ספרדיים ובעיקר תימניים הקהל יושב תוך שהוא מקיף את התיבה בצורת "ח" (כך שרק חלק מהקהל יושב ופניו להיכל).
בבתי כנסת אורתודוקסים ישנה הפרדה בין נשים לגברים. ברוב בתי הכנסת מוקצה לנשים אזור מסוים ביציע או מאחורי אזור הגברים או לצידו, הקרוי "עזרת נשים" (השם נלקח מהאזור שעד אליו יכלו נשים להיכנס בבית המקדש). על פי ההלכה מספיק שתהיה מחיצה בגובה של מטר בין הנשים לגברים ויש פוסקים המחמירים שגובה המחיצה יהיה עד מעל לראשי המתפללים. בבתי כנסת קונסרבטיבים ורפורמים נוהגים לשבת משפחות משפחות, נשים וגברים גם יחד.
בחו"ל בתי הכנסת מכוונים כלפי ארץ ישראל. בארץ ישראל, בתי הכנסת מכוונים לכיוון ירושלים. ובירושלים לכיוון הר הבית, שהוא המקום המקודש ביותר על פי המסורת היהודית. כל זאת על פי תפילת שלמה המלך:
עיצוב המבנה.
סגנון הריהוט בבתי הכנסת שונה מעדה לעדה ומקהילה לקהילה. ישנם מפוארים וישנם צנועים. יש בתי כנסת שתלויות בהם תמונות, ויש שמצמצמים בהן. כך למשל בבית הכנסת הגדול בירושלים, קיימים ויטראז'ים מעוטרים. בבתי כנסת מתקופת המשנה והתלמוד נמצאו רצפות פסיפס בסגנון רומאי, עם סמלים יהודיים, כגון מנורת שבעת הקנים, שופר, מחתה וארבעת המינים, ובחלקם אף אותרו מוטיבים הלניסטיים, כגון גלגל המזלות.
מבנה בית הכנסת ומיקומו הושפעו מאוד מהמעמד המשתנה שהיה לקהילות היהודיות במסגרת העמים המארחים. במהלך תקופה ארוכה, בעולם הנוצרי ובעולם המוסלמי, הוטלו מגבלות על בניית בתי תפילה יהודים. המגבלות קבעו איסור בניית בית כנסת במרחק מסוים מבית תפילה נוצרי או מוסלמי, איסור על בנייה לגובה, כדי שבית הכנסת לא יהיה גבוה מבית התפילה של בני העם המארח והיו גם איסורים לגבי החומרים ממנו נבנה בית הכנסת - תקופה ארוכה נאסרה בארצות אירופאיות מסוימות בניית בתי כנסת מאבן. בתי הכנסת במרבית הקהילות התאפיינו במבנים פשוטים ותפקודיים, שאינם מושכים את העין בחיצוניותם.
סגנונו האדריכלי של בית הכנסת איננו אחיד, והוא מושפע במידה רבה ממסורות הבנייה וטכנולוגיות הבנייה המקומיות. גם דרישות ההלכה הנוגעות למבנה בית הכנסת מצומצמות מאוד ומותירות מקום רב לאפשרויות תכנוניות שונות. על פי ההלכה ישנן רק מעט דרישות הנוגעות לבניין בית הכנסת, ואף דרישות אלו אינן מוחלטות, ולא תמיד באות לידי מימוש. כך, ההלכה מורה על כך שבית הכנסת יהיה מבנה המוגבה מעל בתי העיר. לא רק בחוצה לארץ, בסביבה אשר לפעמים עוינת אין דרישה זאת מתקיימת, אלא אף בארץ אין קיום של דרישה זאת. למעשה, במהלך הדורות נבנו בתי כנסת בצורות מגוונות, קורו במגוון גגות שונים ועוטרו בסגנונות אדריכליים רבים.
בתקופה המודרנית ניסו אדריכלים שונים להציע פרשנות חדשה למבנה בית הכנסת המסורתי. בארצות הברית תוכננו כמה מבני בתי כנסת בידי אדריכלים מפורסמים. כך, מבנה בית הכנסת שתכנן האדריכל פרנק לויד רייט תוכנן כפירמידה משולשת הצומחת מתוך תוכנית משושה.
בישראל נעשו כמה ניסיונות ליצירת פרשנות חדשה למבנה בית הכנסת המסורתי. מבני בתי כנסת מפורסמים בחדשנותם הם בית הכנסת האוניברסיטאי בגבעת רם (אדריכלים רזניק-ראו) ובית הכנסת המרכזי בנצרת בתכנונו של נחום זלוטוב.
ארכאולוגיה.
בארץ ישראל נתגלו ממצאים ארכאולוגיים של בתי כנסת רבים, החל מסוף תקופת בית שני ועד המאה ה-10 לספירה, ובעיקר מתקופת התלמוד.
רוב בתי הכנסת הקדומים נתגלו בגליל, ולאחר מכן בגולן ובדרום הר חברון. המרשימים שבהם הם אלו שבברעם, בגוש חלב, במרות, בנבוריה, בחמת טבריה, בציפורי, בחמת גדר, בארבל, בכפר נחום, בכורזים, בגמלא, בקצרין, באום אלקנאטיר, בבית שאן, בתל רחוב, בבית אלפא, באשתמוע, בסוסיא, בעין גדי, בחורבת ענים, בחורבת מעון, בנערן וביריחו.
חלק מבתי הכנסת העתיקים היו בנויים אחרת מהמקובל בימינו. כך, הפתח היה לרוב בקדמת בית הכנסת, ואילו ספרי התורה היו מונחים בארון בחדר צדדי, ובשעת קריאת התורה היו מביאים אותם בארון מיוחד, לקיים את מאמר הפסוק "ויהי בנסוע הארון".
קדושת בית הכנסת.
בניין בית הכנסת הוא מקום קדוש ולכן אסורות בו בתנאי היום-יום פעולות כגון לינה ואכילה. אולם לתלמידי חכמים שתורתם אומנותם או כאשר בית כנסת מהווה מקום מפלט מותרות גם פעולות אלו.
נחלקו הראשונים בעניין קדושת בית הכנסת האם הוא נקרא תשמיש קדושה או תשמיש מצווה, לדעת הר"ן בית הכנסת נחשב תשמיש קדושה, ואילו לדעת הרמב"ן תשמיש מצווה.