يتكون الهيكل العام للوزارة من ديوانها وفروعها ومكاتبها وإدارتها في أمانة العاصمة ومحافظات الجمهورية.
* يتبع الوزير مباشرة ما يلي:-
1- مركز البحوث والتطوير التربوي.
2- جهاز محو الأمية وتعليم الكبار.
3- مؤسسة الكتاب المدرسي.
4- الجهاز المركزي للتعليم الفني.
5- جهاز تنفيذ مشروعات التعليم.
6- المكتب الفني
7- اللجنة الوطنية اليمنية للتربية والثقافة والعلوم.
8- مجلس الوزراء
9- المستشارون
10- مكتب الوزير
* يتكون البناء التنظيمي للوزارة من القطاعات والتقسيمات التالية:-
أ- قطاع التعليم العام ويتكون من الإدارات العامة التالية:-
1- الإدارة العامة لرياض الأطفال.
2- الإدارة العامة للتعليم الأساسي.
3- الإدارة العامة للتعليم الثانوي
4- الإدارة العامة للأنشطة المدرسية.
ب- قطاع التدريب والتأهيل : ويتكون من الإدارات العامة التالية:
1- الإدارة العامة لتدريب وتأهيل المعلمين قبل الخدمة
2- الإدارة العامة لتدريب وتأهيل المعلمين أثناء الخدمة
3- الإدارة العامة لتدريب وتأهيل القيادات التربوية.
4- معهد التأهيل والتدريب أثناء الخدمة.
ج- قطاع التوجيه والتقويم التربوي: ويتكون من الإدارات العامة التالية:-
1- الإدارة العامة للتوجيه التربوي.
2- الإدارة العامة للاختبارات والتقويم
3- الإدارة العامة للوسائل والتقنيات التربوية
4- مركز إنتاج الوسائل التعليمية.
د- قطاع التخطيط والتمويل ويتكون من الإدارات العامة التالية:-
1- الإدارة العامة للتخطيط والإحصاء.
2- الإدارة العامة للخارطة المدرسية.
3- الإدارة العامة للمشاريع والمتابعة.
4- الإدارة العامة للشئون المالية والتجهيزات والصيانة.
5- الإدارة العامة لشئون المعارين والمتعاقدين غير المحليين.
6- الإدارة العامة للمستلزمات المدرسية.
هـ- قطاع الإدارة والخدمات ويتكون من الإدارات العامة التالية:-
1- الإدارة العامة لشئون الموظفين
2- الإدارة العامة للسكرتارية
3- الإدارة العامة للحاسب الآلي والتوثيق
4- الإدارة العامة للتغذية المدرسية.
5- الإدارة العامة للصحة المدرسية.
الإدارات العامة النمطية التالية:-
1- الإدارة العامة للرقابة والتفتيش
2- الإدارة العامة للشئون القانونية.
* يرأس كل قطاع وكيل وزارة وكل إدارة عامة مدير عام.
* يصدر بقرار من الوزير التقسيمات التنظيمية الفرعية للإدارات العامة بعد موافقة وزارة الخدمة المدنية والإصلاح الإداري.
*يحدد المستوى التنظيمي لمكتب الوزير بإدارة عامة ويصدر بتحديد اختصاصاته قرار من الوزير.