التوسع إلى 6,000 PDF في الساعة
كيف حسّنت نظام توليد مستندات لمعالجة 6,000 PDF في الساعة على عامل Railway واحد، وهو رقم أداء يتطلب عادةً 5-10 عمال.
- توسع عالٍ
- عامل واحد
- 99.7% وقت تشغيل
- معدل الإنتاج
- 6,000/ساعة
- PDF مولَّد في الساعة
- زمن الاستجابة P95
- أقل من 2 ثانية
- وقت الاستجابة عند الصدارة 95
- البنية التحتية
- عامل واحد
- مثيل Railway واحد
- معدل النجاح
- 99.7%
- معدل إكمال المهام
التحدي الأصلي
بدأ KamkmPDF كتطبيق Next.js بسيط مع وظيفة cron. عمل مع 50 مستخدماً، لكن عندما بدأ المئات بالرفع في وقت واحد، تراكمت قائمة الانتظار. معظم الفرق ستستخدم 5-10 عمال. أردت أن أرى إلى أي مدى يمكن لعامل واحد محسَّن أن يصل.
| نقطة البداية | النتائج النهائية | |
|---|---|---|
| معدل الإنتاج | 200-300/ساعة | 6,000/ساعة |
| وقت التوليد | 5-10 ثوانٍ | أقل من 2 ثانية |
| المهام المتزامنة | 3 قبل الانهيار | 10 مستقرة |
| مفاتيح AI | 1 (حدود المعدل) | 11 مع التبديل التلقائي |
التحسينات الرئيسية
أربعة تغييرات رئيسية حوّلت الأداء
إعادة كتابة العامل بـ Go
نقلت من TypeScript إلى Go. تزامن أفضل وكفاءة ذاكرة أسرع.
ضعف الإنتاج
Cerebras AI بدل GPT-4
Cerebras GPT-oss-120b كنموذج رئيسي. أسرع بكثير وتكلفته أقل.
5-10× أسرع من GPT-4
تحسين قاعدة البيانات
استطلاع ذري + SKIP LOCKED + تجميع اتصالات + فهرسة صحيحة.
وقت الاستعلام: 100ms → 5ms
تجميع المتصفح
Puppeteer بدون إغلاق بين كل طلب. نفس الذاكرة، 10 PDFs متزامنة.
10 PDFs بنفس الذاكرة
أبرز البنية
مبنية للتوسع الأفقي منذ البداية
نظام قائمة الانتظار
- قائمة انتظار PostgreSQL مع استطلاع ذري
- توزيع دوري لمفاتيح API لتكرارية AI
- تراجع PDF متعدد الطبقات (Puppeteer → PDFKit → ثابت)
تصميم العامل
- تجميع متصفح مع تنظيف ومراقبة تلقائية
- جاهز للتوسع الأفقي، فقط أضف عمالاً آخرين
التقنيات المستخدمة
اختيرت بعناية لأقصى إنتاجية
الواجهة الأمامية
- Next.js 15
- React 19
- Tailwind CSS
- tRPC
العامل
- Go
- Goroutines
- Railway
- Docker
قاعدة البيانات
- PostgreSQL 14
- Drizzle ORM
- تجميع الاتصالات
الذكاء الاصطناعي
- Cerebras GPT-oss-120b
- OpenRouter
- 11 مفتاح API
- تبديل تلقائي
توليد PDF
- Puppeteer
- PDFKit
- تجميع المتصفح
- إدارة الذاكرة
التخزين
- UploadThing v7
- URLs موقعة
- بيانات الملفات الوصفية
كفاءة التكلفة
إنتاجية مؤسسية بميزانية ناشئة
البنية التحتية
- عامل Railway واحد
- ~$20/شهر
- قاعدة بيانات PostgreSQL
- ~$15/شهر
- لا Redis ولا قوائم انتظار
- $0
تكاليف AI
- Cerebras GPT-oss-120b
- ~$0.002/PDF
- عند 6,000 PDF/ساعة
- ~$12/ساعة
- مقارنةً بـ GPT-4
- توفير 5 أضعاف