ישנם גם ארגוני נוער הקשורים לבנייה החופשית (אך תוכנם אינו מסוני) בעיקר בצפון אמריקה, כגון: מסדר דה־מוליי לנערים בגילאי 12–21, בנות איוב – Job's Daughters והמסדר הבינלאומי של הקשת לבנות – International Order of the Rainbow for Girls (לבנות בגילאי 11–20).
ביקורת נגד הבנייה החופשית ודיכויה.
מאז ימיה הראשונים הותקפה הבנייה החופשית על ידי הכנסייה הקתולית, וקיומה אף נאסר בכמה מהארצות הקתוליות.
הצרפתי לאו טקסיל התפרסם בסוף המאה ה־19 כשהאשים את הבונים החופשיים בפריצות מינית, בפולחן השטן ובמגע עם שֵׁדים. ועדת חקירה שהוקמה בעקבות הדברים לא סתרה את האשמותיו, אך הוא הודה לבסוף בפומבי כי מדובר בבדיות.
מאז ומתמיד הייתה הבנייה החופשית מטרה מועדפת לתאוריות קשר ורוקחיהן רואים בה כוח רשע שזומם לשלוט על העולם. תאוריית הקשר על הבונים החופשיים והיהודים אף קושרת את הבנייה החופשית לתיאורית הקונספירציה האנטישמית – המאשימה את היהודים בקנונייה עולמית – וגורסת כי הם הסתננו לבנייה החופשית על מנת לקדם את מטרותיהם, זאת למרות שלשכות רבות באירופה נמנעו מקבלת יהודים לשורותיהן במשך למעלה ממאתיים שנה (ובמדינות סקנדינביה נאסרת הצטרפותם של יהודים ומוסלמים לשורות הבונים החופשיים גם כיום).
הבנייה החופשית אסורה כמעט בכל המדינות הטוטליטריות ובמדינות שאינן דמוקרטיות, למעט בקובה, שם שולטים פקידי השלטון בפעילות הבונים החופשיים והם אינם יכולם לפעול בחופשיות בדרכם המסורתית. בגרמניה הנאצית הגיע הדיכוי נגד הבונים החופשיים לשיאים רצחניים: למרות שלשכות רבות סגרו את שעריהן והנותרות קיבלו על עצמן את כל המגבלות שהשיט עליהן השלטון הנאצי – הורה היטלר לחסל את הבנייה החופשית, הלכה למעשה. כמאה אלף בונים חופשיים נשלחו למחנות ההשמדה מגרמניה ומהמדינות שהיו תחת כיבושה. הבנייה החופשית באירופה נפגעה אנושות והתקשתה להתאושש גם לאחר תום מלחמת העולם השנייה.
גם בדמוקרטיות המודרניות פורצות לעיתים שערוריות סביב הבונים החופשיים ומוטחות בהם האשמות שווא. כך למשל, נעלם בארצות הברית בונה חופשי בשם ויליאם מורגן בתחילת המאה ה־19 והועלתה טענה כי הוא נרצח על ידי הבונים החופשיים משום שאיים לגלות את סודותיהם. הטענה התבררה מאוחר יותר כעלילת שווא. דוגמה נוספת לעלילה נגד הבונים החופשיים היא לשכה בשם (P2 (Propaganda Due שפעלה באיטליה בשנות השבעים והשמונים של המאה ה־20. אדולפו צ'לי – מקים הלשכה, הדמות המובילה בה ונוכל מוכר – הפיץ את השקר שמדובר בלשכה של בונים חופשיים מזרם ה"גראנד אוריינט" במטרה להתעטף בדימוי המכובד ובוותק של הבנייה החופשית. שקר זה נחשף במהלך חקירת שערוריית כספים ורצח של בנקאי בכיר בוותיקן, אשר נקשרה למאפיה והתגלגלה לשרשרת מעשי רצח שלא פוענחו עד היום. מספר חברים בלשכה נחקרו בחשד למעורבות בפרשה וצ'לי עצמו ברח לדרום אמריקה עם התפוצצות השערורייה ונעלם.
האשמות וקונספירציות אלו, אשר קיבלו את הכינוי "אנטי־מסוניות", השפיעו גם על אמצעי התקשורת ועל תעשיית הבידור. כך למשל סרט בכיכובו של רוברט מיצ'ם מתאר ניסיון חדירה בדיוני של הבונים החופשיים לארגוני המודיעין במדינות שונות בעולם וסרטי קולנוע וטלוויזיה נוספים שיצאו לאקרנים במהלך המחצית השנייה של המאה ה־20 הציגו בונים חופשיים בהקשרים קונספירטיביים. גם בתחילתה של המאה ה־21 קיימת יצירה ספרותית וטלוויזיונית ענפה אשר עוסקת בבונים החופשיים, כגון ספרו של אומברטו אקו "בית העלמין של פראג" וכן ספרו של דן בראון "הסמל האבוד" וסדרת הטלוויזיה שנוצרה בעקבותיו, אשר מציגים את הבונים החופשיים באופן אשר אינו תואם את המציאות.
סכסוכים ומחלוקות.
סכסוכים על רקע דתי בין אחים בעלי גישה שמרנית לבין אחים בעלי תפישה מודרנית הובילו לקרע גדול בלשכה האנגלית ב־1753. איחוי הקרע ומיזוג מחודש התאפשרו רק לאחר ניסוח פשרה בשנת 1813. לפי הפשרה נותק הקשר בין הבנייה החופשית לבין הנצרות. עוד במסגרת הפשרה נוסחו מהותה וטיבה של הדרגה השלישית באופן מעורפל.
הקרע הגדול השני בבנייה החופשית אירע לאחר שנת 1877 כאשר "המזרח הגדול" בצרפת החל לקבל לשורותיו אתאיסטים ללא הבחנה. בעוד שנושא האתאיזם היווה את הגורם הרשמי לפיצול מ"המזרח הגדול" בצרפת, תרמו לכך גם קבלת נשים לשורות הבנייה החופשית בצרפת והקמת לשכות מעורבות וכן נכונות הצרפתים לדון בנושאי דת ופוליטיקה במסגרת הארגון ואין הם שוללים זאת על הסף כמו האנגלים, למרות שאינם מרבים לדון בנושאים אלו. לעיתים ניתן היה להיווכח כי יש אפשרות להתגבר על הקרע בין שני הענפים, במיוחד במהלך מלחמת העולם הראשונה כאשר בונים חופשיים אמריקנים, אשר שירתו בצבא ארצות הברית והוצבו אירופה, השתתפו בפעילות הלשכות הצרפתיות.
החוקות הקדומות של הבנייה החופשית קובעות כי בונה אשר מבין כראוי את אומנות הבנייה החופשית אינו יכול להיות "אתאיסט אוויל או ליברטין נטול אמונה" ־– הוא נדרש "לדת המוסכמת על כולם" ועליו להשאיר את דעותיו האישיות לעצמו. הניסוח היה מעורפל למדי ובשנת 1815 שינתה הלשכה המאוחדת UGLE את החוקה לנוסח חדש: "יהיו דתו ופולחנו של אדם אשר יהיו, באפשרותו להיות חלק מהמסדר כל עוד הוא מאמין באדריכל השמיים והארץ הדגול ומקיים את חובות המוסר הקדושות". שורה זו שללה למעשה את קבלתם של אתאסטים לשורות המסדר והדבר עורר מחלוקות. בשנת 1875 עלתה הצעת פשרה לשימוש בביטוי "Creative Principle", עיקרון יוצר, כתחליף לביטוי "האדריכל הדגול", אך היא לא התקבלה.
בסופו של דבר בשנת 1877 השיב "המזרח הגדול של צרפת" את המצב לקדמותו וביטל את הדרישה לאמונה דתית לשם קבלת המועמד תוך אימוץ החוקה המקורית משנת 1723 כחוקה הרשמית. כמו כן,שינה "המזרח הגדול של צרפת" את הריטואל שלו ומחק כל התייחסות ישירה ל"אדריכל הגדול של היקום " G.A.O.T.U".
בארץ ישראל.
הבונים החופשיים מקיימים פעילות בארץ ישראל החל מסוף המאה ה־19. חברי המסדר הראשונים הגיעו בעיקר מארצות הברית במטרה למצוא שרידים ארכאולוגיים שיוכיחו את אמיתותן של אגדות מסוניות הגורסות כי הארגון מוצאו בבית המקדש שבנה שלמה המלך בימי מלכותו. ב־1867 הגיע צ׳ארלס וורן, בונה חופשי מלשכת המחקר של אנגליה, עם קבוצת ארכאולוגים, וחשף בין היתר את מערת צדקיהו ואת מנהרות הכותל. באותה שנה הגיע לארץ גם רוברט מוריס (Robert Morris), בונה חופשי מקנטקי, שהקים ב־1868 את הלשכה המסונית הראשונה בירושלים אשר כונתה "Reclamation Lodge of Jerusalem" והתנהלה בשפה הצרפתית.
ב־1889 עזב אברהם לוי (Abraham Levy) את הלשכה על מנת לייסד לשכה חדשה ביפו, העיר שבה התגוררו רוב הבונים חופשים באותה תקופה. ב־1891, לאחר קבלת הצ'ארטר מלשכה צרפתית, לוי וחברים נוספים שעזבו את הלשכה בירושלים ייסדו את לשכת The Port of Solomon’s Temple שכונתה גם בשם Gate of Solomon’s Temple - 'שער היכל שלמה'.
בראשיתה של המאה ה־20 הגיעו חברי לשכת The Port of Solomon’s Temple למסקנה כי עליהם לייסד לשכה חדשה על מנת שהבנייה החופשית לא תגווע בארץ. על כן, בפברואר של 1906 ייסדו ביפו את לשכת "ברקאי". עד 1914 קודשו בלשכת "ברקאי" יותר ממאה בונים חופשיים. בתקופת מלחמת העולם הראשונה הוגלו חברי לשכה רבים על ידי המשטר העות'מאני ובעקבות זאת השעתה לשכת "ברקאי" את פעילותה. ביולי 1922 קיבלה בריטניה את המנדט על פלשתינה וב־1925 חזרה הלשכה לפעילות רצופה.
בשנת 1927 נוסדה לשכת "הר ציון" בירושלים וב־9 בינואר 1932 נוסדה "הלשכה הגדולה של פלשתינה". בניגוד ללשכות גדולות בשאר המקומות בעולם, הלשכה לא איחדה תחתיה את יתר הלשכות שפעלו באותה העת בארץ. איחודן של הלשכות תחת לשכה גדולה התרחש מאוחר יותר, עם הקמת "הלשכה הגדולה למדינת ישראל". הלשכות אשר פעלו בשפה האנגלית, שקיבלו את הצ'ארטר שלהן מהלשכה הגדולה של אנגליה, סירבו להצטרף ללשכה הגדולה החדשה והמשיכו לעבוד בנפרד בעוד שלשכות מסוימות אשר פעלו בשפה הגרמנית עבדו תחת הלשכה הגדולה הסימבולית של גרמניה. לשכות גרמניות אלה נוסדו על ידי גרמנים שמצאו מקלט בפלשתינה לאחר שהנאצים החל לרדוף את הבונים החופשיים בגרמניה. אותם בונים חופשיים גרמנים תרמו רבות לפיתוחן של ה"מושבות הגרמניות" בירושלים ובחיפה.
הלשכה הגדולה עשתה מאמצים רבים לצרף אליה אחים חדשים בני דתות ולאומים אחרים: ערבים, מוסלמים, נוצרים, ארמנים, דרוזים ובהאים. באותה העת היו רק לשכות ספורות אשר כללו אך ורק חברים ערבים: לשכת נור אל-חיכמה ("אור החוכמה") ולשכת ירושלים, שתיהן בירושלים; לשכת "כורש" בעמאן ולשכת "גליל" מס' 31 בנצרת.
עם הקמתה של מדינת ישראל ב־1948 נסגרו מספר לשכות דוברות ערבית. לבסוף, ב־20 באוקטובר 1953, נוסדה "הלשכה הגדולה למדינת ישראל", אשר איחדה תחתיה את כל הלשכות בישראל, 30 במספר. הנשיא הגדול הראשון של הלשכה היה שבתי לוי, ראש עירית חיפה לשעבר. הלשכות שפעלו באותה העת חולקו על פי השפות שבהן פעלו: 19 לשכות דוברות עברית, 5 לשכות דוברות גרמנית, 4 לשכות דוברות אנגלית, לשכה אחת דוברת רומנית ומספר לשכות דוברות ערבית. על אף שהבנייה החופשית אינה דת, פותחת "הלשכה הגדולה למדינת ישראל" את עבודתה כשספרי הקודש של שלוש הדתות המונותאיסטיות (התנ"ך, הברית החדשה והקוראן) מונחים על הכן מתוך מתן כבוד לשלוש הדתות הגדולות הפועלות בישראל.
בשנת 2010 נהרס המשרד הראשי של הלשכה בתל אביב ועבר אל "מגדל המוזיאון". בשנת 2017 עברו הלשכה הגדולה ומשרדה הראשי להרצליה. ביטאון הלשכה הגדולה של הבונים החופשיים במדינת ישראל, המופיע מאז שנת 1933, קרוי "הבונה החופשי".