لماذا هذا الـ benchmark
الكل يقول AI قوي. لكن ما لم يُقَل: 'قوي في ماذا؟'
Adam مصمم لـ 7 مهام محددة. GPT-4 مصمم لـ everything. السؤال: متى Adam يتفوق، ومتى GPT-4 يتفوق؟
المنهجية
- 7 مهام، كل واحدة لها 100 سيناريو
- Adam = النسخة الكاملة مع كل الـ 12 layer
- GPT-4 = gpt-4-1106-preview عبر API
- كل سيناريو = واحد human judge + rubric
- النتيجة = دقة 0-100
المهام الـ 7
1. لهجة مصرية (Egyptian dialect decoding)
Task: تحويل سؤال بالعامية المصرية لـ JSON structured intent
| Model | Score |
|-------|-------|
| Adam Prism | 94% |
| GPT-4 | 87% |
ليش Adam يتفوق: Adam دُرّب على 742 محادثة SCADA مصرية حقيقية. GPT-4 يفهم، لكن بدقة أقل في الـ technical jargon.
2. Yokogawa DCS fault codes
Task: شرح fault code + أول 3 خطوات troubleshooting
| Model | Score |
|-------|-------|
| Adam Prism | 96% |
| GPT-4 | 71% |
ليش Adam يتفوق: 891 وثيقة فنية. GPT-4 يعرف Yokogawa، لكن لا يعرف الـ specific fault taxonomy لموديل معين.
3. SCADA I/O point reading
Task: قراءة reading من نقطة I/O وتفسيرها
| Model | Score |
|-------|-------|
| Adam Prism | 92% |
| GPT-4 | 76% |
4. Legal regulatory text (Egyptian)
Task: استخراج obligation من نص قانوني
| Model | Score |
|-------|-------|
| Adam Prism | 88% |
| GPT-4 | 93% |
ليش GPT-4 يتفوق: GPT-4 عنده corpus أوسع للقانون. Adam متخصص في الـ industrial regulatory.
5. Creative writing (Arabic)
Task: كتابة قصة قصيرة من prompt
| Model | Score |
|-------|-------|
| Adam Prism | 72% |
| GPT-4 | 91% |
ليش GPT-4 يتفوق: Adam غير مصمم للـ creative writing. صريح في الـ scope.
6. Code generation (Python)
Task: كتابة Python function من وصف
| Model | Score |
|-------|-------|
| Adam Prism | 78% |
| GPT-4 | 89% |
7. Air-gapped operation
Task: تشغيل النظام بدون internet
| Model | Score |
|-------|-------|
| Adam Prism | 100% |
| GPT-4 | 0% (يحتاج API call) |
الخلاصة
Adam ≠ replacement لـ GPT-4. Adam = specialized sovereign AI.
| Use case | Winner |
|----------|--------|
| Arabic industrial context | Adam |
| Legal/regulatory breadth | GPT-4 |
| Creative writing | GPT-4 |
| Air-gapped / sovereign | Adam |
| Code generation | GPT-4 |
Adam ما عنده مشكلة يقول 'مش دوري'. لو سألته يكتب قصة، يقول: 'ده مش تخصصي.' صريح، مش ادعاء.
الـ benchmark كامل
متاح على GitHub: /benchmarks/sovereign-ai-2026/
