החינוך היהודי-תימני מיוחד בעצמו, גם מבחינת תוכנו וגם מבחינת שיטת ההוראה שלו.

בתחילה, חינוך הבנים היה מסור בידי האב, אך משום קשיי הפרנסה, ועול השעבוד למלכות שבאותם הימים, לא יכלו רוב האבות להקדיש את זמנם לחינוך הבנים בצורה מסורה. מסיבה זו, נפתחו ישיבות תלמודי התורה שנקראו "כניס" או "מדרש". בתלמוד התורה, לימד מלמד שהיה נקרא "מארי" (נהגה מורי, ובמלעיל), והוא זה שדאג לחינוכם של הילדים. כדי להבדיל בין מלמד התינוקות לבין הרב, היו מכנים את מלמד התינוקות "מארי אלעיאל" כלומר המורי של הילדים, אבל הרב נקרא "מורי" סתם.

מלמד התינוקות היה אחראי על לימודי התלמידים במדרש (הכניס), וקיבל אליו תלמידים שגילם הוא מגיל 3 ומעלה. קבוצה אחת הייתה לומדת קריאה וכתיבה של האלפבית וניקוד. הקבוצה השנייה הייתה לומדת קריאה מתוך סידור, וקבוצה שלישית הייתה לומדת את קריאת פרשת השבוע (יחד עם התרג'ום) וההפטרה. הלימודים התמקדו בגילאים אלו בעיקר בתנ"ך, אולם שלא במסגרת זו היה שומע הילד שעורי תורה בחברת המבוגרים. לאחר הפסקת צהריים, חזרו התלמידים ללימודם. יום הלימודים היה ארוך, משעות הבוקר ועד לשקיעת השמש, והם היו במשך כל השבוע, פרט ליום שישי.

לפי החינוך התימני, הילד, עוד לפני הגיעו לגיל בר מצווה, היה צריך להיות מסוגל להצטרף אל עולם המבוגרים ("גבר בגוברין"). אחד הדברים העיקריים אותם היה צריך הילד לעשות בתור "מבוגר", הוא נטילת חלק בפעילות בית הכנסת (אמירת התפילות, קריאת פרשת שבוע והפטרות) ובשיעורי התורה. עוד בהיות הילד בתלמוד תורה הוא הולך עם אביו יום יום לתפילות ולשיעורים הניתנים בבית הכנסת על ידי הרב. כך רוכש לו הילד ידע במשנה והלכה (רמב"ם ושו"ע) ואגדה (עין יעקב,אגדות התלמוד) ואף בגמרא. לאחר גיל הבר מצווה, המשיכו ללמוד בחברת המבוגרים בשיעורים היומיומיים שהיו בכניס ערב ובוקר .שם היה ניכר מיהו הבקי, הבקיאים קיבלו הכשרה כדי לשמש כ"כלי קודש", דהיינו כשוחט, חזן, מוהל ודיין.

המורי (מלמד התינוקות) היה מקבל בדרך כלל את שכר הלימודים מאב התלמיד מדי שבוע, והשכר ניתן בתור צדקה, וזאת על מנת שלא "לעשות את התורה קרדום לחפור בה". היו מקומות שבהם המורי היה מקבל את שכרו בתור ארוחות ואוכל, אותם הוא היה אוכל בתורנות בבתי התלמידים. רב הקהילה שנקרא כאמור לעיל "מורי", איננו מקבל משכורת כלל אלא היה מתפרנס ממעשה ידיו.

למרות שלא היה לרב בתימן את הזמן הפנוי שהיה לרב בארצות אחרות ללמוד (בהן הרב היה מתפרנס מהציבור וכל שעותיו פנויות ללימוד), עם כל זאת רמת תלמודם של רבני תימן הייתה מן הגבוהות, ביטוי נאה לכך נתן הנוסע הירושלמי (יליד פולין) הרב יעקב ספיר שביקר בתימן בשנת 1859 בהגיעו לכפר עלום בתימן שנקרא "גרואח",

העיר המצערה הזאת לה רב גדול (בארצות האלה יקראו להרב מארי), הוא המורה הוא הדיין והדורש הוא השוחט והבודק, גם חזן ושמש, ומכל אלה אין לו מחית נפשו לשליש ולרביע, גם במצער צרכי חייהם ופרנסתם. על כן גם המארי מסובל תחת עול המלאכה והעבודה אם נקלה אם נכבד. הרב הזה מארי יוסף בן סעיד (סעדיה) יצ"ו מלא תורה יראה וחכמה ורוח דעת. בקי במקרא וביאוריו עד להפליא. בקי בתלמוד ברמב"ם ועד אחרונים כאחד המורים הגדולים בארצותינו וידיו רב לו בחכמת הקבלה בשנון גדול, הזוהר וכתבי האר"י למודים על לשונו בעליל כל עלה ועמוד, וכח זכרונו רב מאוד, וחובר חיבורים בקבלה ומפליא לעשות גם בקבלה מעשיות ואצטגנינות כמעשה הראשונים … ויצא שמו בכל הארץ גם בעיני השרים ועבדי המלך. ועל כל אלה גדלה ענותנותו ואהבת בני אדם. עם פנים שוחקות מדברותיו נאוה… והוא כבן ארבעים שנה. מהלכו מנהגו ומלבושיו כמנהג המדינה, וזר הרואהו יחשבנו לאיכר או רועה צאן… הוא חרש ברזל לעשות כלי נשק אתים מחרשתים מקבות קרדומות מגרפות כל כלי האיכרים. לו חנות אצל ביתו בחור ההר כמו מערה… הוא יושב על האבנים מחזיק הברזל או העשת להבעיר באש ואביו עומד על המפוח, ואחיו עומד להכות במקבת על הסדן. גם בעשותם בעבודה הקשה הזאת מצאתים נדברים יחד בדברי תורה חכמה ומוסר. ופה בחנות יורה ידין ויועץ בכל דברי הקהלה… הפעם נכנסתי לחנותו מן הבוקר… ואיכר גוי אחד אץ עליו לכלות מלאכתו… והוא מכה במקבת על הסדן והאיכר נוגש עליו כלה מלאכתך!… מכאב לב ומשבר רוח עניתיו: אשריך מארי יוסף שפחמי אתה ואוי… להמתנהגים ברבנות

יעקב ספיר – "אבן ספיר"

באדיבות נוסח תימן