جوجل تطلق برنامج AI Crawler الجديد

أضافت Google بهدوء برنامجًا جديدًا للزحف إلى وثائق برنامج الزحف الخاص بها والذي يقوم بالزحف نيابة عن العملاء التجاريين لمنتج Vertex AI الخاص بها. ويبدو أن برنامج الزحف الجديد قد يقوم فقط بالزحف إلى المواقع التي يسيطر عليها مالكو الموقع، ولكن الوثائق ليست واضحة تمامًا بشأن هذه النقطة.

وكلاء Vertex AI
Google-CloudVertexBot، برنامج الزحف الجديد، يستوعب محتوى موقع الويب لعملاء Vertex AI، على عكس الروبوتات الأخرى المدرجة في وثائق Search Central المرتبطة ببحث Google أو الإعلانات.

تقدم وثائق Google Cloud الرسمية المعلومات التالية:

"في Vertex AI Agent Builder، توجد أنواع مختلفة من مخازن البيانات. لا يمكن لمخزن البيانات أن يحتوي إلا على نوع واحد من البيانات."

وتستمر في سرد ​​ستة أنواع من البيانات، أحدها بيانات موقع الويب العامة. فيما يتعلق بالزحف، تقول الوثائق أن هناك نوعين من زحف موقع الويب مع قيود خاصة بكل نوع.

تشرح الوثائق بيانات مواقع الويب:

"يستخدم مخزن البيانات الذي يحتوي على بيانات مواقع الويب البيانات المفهرسة من مواقع الويب العامة. يمكنك توفير مجموعة من المجالات وإعداد البحث أو التوصيات بشأن البيانات التي تم فحصها من المجالات. تتضمن هذه البيانات نصًا وصورًا مُوسومة ببيانات وصفية."

لا يذكر الوصف أعلاه أي شيء عن التحقق من المجالات. ولا يذكر وصف الفهرسة الأساسية لمواقع الويب أي شيء عن التحقق من مالك الموقع أيضًا.

لكن الوثائق الخاصة بالفهرسة المتقدمة لمواقع الويب تقول إن التحقق من المجال مطلوب وتفرض أيضًا حصص الفهرسة.

ومع ذلك، فإن الوثائق الخاصة بالمتتبع نفسه تقول إن المتتبع الجديد يفحص "طلب مالكي الموقع" لذا فقد لا يأتي لفحص المواقع العامة.

الآن، إليك الجزء المربك، يشير تدوين سجل التغييرات لهذا المتتبع الجديد إلى أن المتتبع الجديد قد يأتي لفحص موقعك.

هذا ما يقوله سجل التغييرات:

"تم تقديم أداة الزحف الجديدة لمساعدة مالكي المواقع على تحديد حركة المرور من أداة الزحف الجديدة."

أداة الزحف الجديدة من Google
تسمى أداة الزحف الجديدة Google-CloudVertexBot.

هذه هي المعلومات الجديدة عنها:

"تقوم أداة الزحف Google-CloudVertexBot بزحف المواقع بناءً على طلب مالكي المواقع عند بناء وكلاء Vertex AI.

وثائق غير واضحة
يبدو أن الوثائق تشير إلى أن أداة الزحف الجديدة لا تفهرس المواقع العامة، لكن سجل التغييرات يشير إلى أنه تمت إضافتها حتى يتمكن مالكو المواقع من تحديد حركة المرور من أداة الزحف الجديدة. هل يجب عليك حظر أداة الزحف الجديدة باستخدام ملف robots.txt في حالة حدوث ذلك؟ ليس من غير المعقول التفكير في ذلك نظرًا لأن الوثائق غير واضحة إلى حد ما فيما يتعلق بما إذا كانت تزحف فقط إلى المجالات التي تم التحقق من أنها تحت سيطرة الكيان الذي بدأ عملية الزحف.