نظام بحث جديد للمركبات لشبكات المراقبة بالفيديو

بنية نظام البحث المتقدم للمركبات. الائتمان: ليو وآخرون.

قام فريق من الباحثين في JD AI Research وجامعة بكين مؤخراً بتطوير نظام بحث متطور للمركبات لشبكات المراقبة بالفيديو ، يسمى PVSS. نظامهم ، المقدم في ورقة منشورة مسبقًا على arXiv ، يمكنه البحث بفعالية عن سيارة معينة ظهرت في لقطات المراقبة.

يمكن أن تحتوي أنظمة البحث عن المركبات على العديد من التطبيقات المفيدة ، بما في ذلك تمكين النقل الذكي والمراقبة الآلية. على سبيل المثال ، يمكن لهذه الأنظمة أن تسمح للمستخدمين بإدخال سيارة الاستعلام ومنطقة البحث والفترة الزمنية لمعرفة مكان المركبة في أوقات مختلفة خلال اليوم.

تفترض طرق البحث الحالية عن المركبات أن جميع صور المركبات يتم اقتصاصها بشكل جيد من مقاطع فيديو المراقبة ، وذلك باستخدام السمات المرئية أو أرقام لوحات السيارات لتحديد السيارة المستهدفة داخل هذه الصور. وتركز هذه المناهج بشكل أساسي على مطابقة المركبات القائمة على المحتوى ، والتي تُعرف أيضًا باسم إعادة تعريف المركبة (إعادة تعريف الهوية).

في السنوات الأخيرة ، عززت الأوصاف اليدوية الحرفية والشبكات العصبية التحويلية (CNNs) بشكل كبير هذه الأساليب. ومع ذلك ، فإن تحديد سيارة معينة تعتمد فقط على السمات يمكن أن يكون مهمة صعبة للغاية بسبب التغيرات داخل التواجد في الكاميرات المختلفة والفروق بين المثيلات بين المركبات المماثلة. في بعض الحالات ، يمكن أيضًا التعرف على لوحات الترخيص في صور المراقبة نظرًا لضعف الدقة والضوضاء.

ويشرح الباحثون في بحثهم: "ينبغي على نظام البحث الكامل عن المركبات أن يفكر في مشاكل الكشف عن المركبات ، والتمثيل ، والفهرسة ، والتخزين ، والمطابقة ، وما إلى ذلك". "بالإضافة إلى ذلك ، لا يمكن للبحث المستند إلى سمة العثور على نفس السيارة بدقة بسبب التغييرات داخل التواجد في الكاميرات المختلفة والبيئة غير المستقرة للغاية."

نظام PVSS ، نظام البحث المتقدم للمركبات الذي طوره الباحثون ، يتناول محدودية الأساليب الحالية. يتكون النظام من ثلاث وحدات رئيسية: الزاحف لبيانات السيارة ، ومفهرس السيارة على أساس ميزات متعددة الحبيبات والباحث المتقدم للمركبة.

وكتب الباحثون في ورقتهم "لضمان دقة عالية وكفاءة أثناء البحث ، تم تصميم سلسلة من هياكل البيانات لنظام البحث عن المركبات". "في الزاحف ، لا يتم استخراج المحتوى المرئي فحسب ، بل أيضًا المعلومات السياقية من شبكات المراقبة. ثم يتم استغلال البيانات متعددة الوسائط من خلال النماذج القائمة على التعلم العميق للحصول على ميزات تمييزية وقوية للمركبات ، والتي يتم تنظيمها من قبل متعدد المستويات في عملية البحث ، يتم البحث في السيارة بطريقة تدريجية ، بما في ذلك البحث من الخشونة إلى الدقيقة في نطاق الميزة والبحث عن قرب من بعيد في المساحة الفعلية. "

وبشكل جوهري ، يقوم مكون زاحف المركبات باكتشاف وتتبع المركبات في مقاطع الفيديو للمراقبة ، ونقل صور السيارة الملتقطة ، والبيانات الوصفية وغيرها من المعلومات السياقية إلى السحابة أو الخادم. وفي وقت لاحق ، يقوم مكون مفهرس المركبات باستخراج وفهرسة الخصائص المتعددة الحبيبات للمركبات ، مثل السمات المرئية وبصمات الأصابع في لوحة الترخيص.

يتم بعد ذلك إدخال استعلام يتضمن صورة مركبة مدخلات ، بالإضافة إلى نطاق زمني ونطاق اهتمام مكاني إلى مكون الباحث عن السيارة ، والذي يبحث بشكل تدريجي عن السيارة في قاعدة بيانات الصور.

قام الباحثون بتقييم نظام البحث المتقدم في المركبات على مجموعة بيانات VeRi ، والتي تحتوي على أكثر من 50000 صورة تم جمعها من 20 كاميرا مراقبة في مواقع العالم الحقيقي. في هذه الاختبارات ، حقق PVSS نتائج ملحوظة ، متفوقًا على جميع طرق البحث ذات المظهر الوحيد والطرق متعددة الوسائط التي قورنت بها.

وكتب الباحثون في ورقتهم "تجارب واسعة النطاق على مجموعة بيانات بحثية على نطاق واسع تم جمعها من شبكة مراقبة في العالم الحقيقي تظهر النتائج المتطورة للنظام المقترح."