KashifBot، الزاحف التابع لكاشف
KashifBot هو البرنامج الذي يستخدمه كاشف ليقرأ صفحات الويب العامة عندما يفحص ظهور موقع في البحث وفي إجابات الذكاء الاصطناعي. توضّح هذه الصفحة من يشغّله، وماذا يقرأ، وكيف توقفه.
من يشغّله
يتبع KashifBot خدمة كاشف (kashifaudit.com)، وتديرها شركة Chatwiser Inc. إذا كان لديك أي قلق بشأنه، راسلنا على hello@kashifaudit.com.
كيف يعرّف بنفسه
كل طلب يرسله يحمل معرّف المتصفح (user-agent) التالي:
KashifBot/0.1 (+https://kashifaudit.com/bot)
الاسم الذي تستخدمه في ملف robots.txt هو KashifBot.
ماذا يقرأ
- يبدأ بملف robots.txt، ثم خريطة الموقع وملف llms.txt والمسار /.well-known/webmcp إن وُجدت.
- ثم صفحات الموقع العامة: حتى 8 صفحات في الفحص الكامل، وحتى 3 صفحات في الفحص السريع أو في فحص المنافس.
- ينتظر 0.5 ثانية بين الطلبات، وثانية واحدة بين الطلبات في فحص المنافس.
- يتوقف عن انتظار الصفحة بعد 15 ثانية، وعن انتظار ملف الموقع بعد 6 ثوانٍ.
- إذا أعطانا العميل رابط حساب على وسائل التواصل، يرسل طلبًا واحدًا إلى صفحة هذا الحساب ليرى إن كانت عامة. ولا يقرأ ملف robots.txt الخاص بمنصة التواصل.
- إذا ترك الخادم شهادته الوسيطة (intermediate certificate)، ينزّل KashifBot هذه الشهادة من العنوان الذي تذكره شهادة الموقع نفسها (وغالبًا هو جهة إصدار الشهادة)، كما يفعل المتصفح. ولا يفعل ذلك أبدًا حين يسمّي أحد العملاء موقعك منافسًا.
- مرة واحدة في كل فحص يفتح أيضًا اتصالًا آمنًا واحدًا بموقعك ليقرأ تواريخ شهادة الأمان فيه. ولا يطلب أي صفحة عبر هذا الاتصال.
ما لا يفعله
يرسل طلبات GET عادية فقط. لا يسجّل الدخول، ولا يعبّئ نماذج أو يرسلها، ولا ينفّذ مدفوعات.
متى يزور
- عندما يطلب أحدهم من كاشف فحص موقع: الفحص المجاني على kashifaudit.com، أو عميل يفحص موقعه، حسب الجدول الذي تحدده خطته.
- عندما يضيف عميل موقعك كمنافس، يقرأ كاشف حتى 3 صفحات، ولا يزور الموقع أكثر من مرة كل 24 ساعة، مهما بلغ عدد العملاء الذين أضافوه.
يلتزم بملف robots.txt
بالنسبة إلى موقعك، يقرأ KashifBot ملف robots.txt قبل أي شيء ويلتزم به. تنطبق عليه القواعد المكتوبة تحت User-agent: * وكذلك القواعد التي تذكر KashifBot بالاسم. إذا تعذّرت قراءة ملف robots.txt (خطأ في الخادم أو انتهاء المهلة)، يعامل KashifBot الموقع كأنه بلا قواعد. لإبعاده عن موقعك كله أضف:
User-agent: KashifBot
Disallow: /
ما ليس من KashifBot
يطلب الفحص السريع (ومنه الفحص المجاني) والفحص الكامل من Google PageSpeed Insights قياس السرعة. ويفتح الفحص الكامل أيضًا الصفحة الرئيسية وصفحة اتصال واحدة في متصفح بلا واجهة لالتقاط صور للشاشة. لا يحمل أي منهما اسم KashifBot، لذلك لا تشملهما القواعد المكتوبة في ملف robots.txt لـ KashifBot أو لـ *.
يبحث كاشف أيضًا في سجلات DNS العامة لنطاقك وفي سجل تسجيله. تذهب عمليات البحث هذه إلى خوادم DNS وسجل النطاقات، لا إلى موقعك.
اطلب منا التوقف
راسلنا على hello@kashifaudit.com مع عنوان موقعك. يضيفه فريقنا إلى قائمة المنافسين المستبعدين لدينا. لا يمكن إضافة موقع في القائمة كمنافس، ولا يُنفَّذ فحص منافس ينتظر دوره لهذا الموقع. لا توقف القائمة فحصًا يجريه أحدهم على موقعك نفسه، مثل الفحص المجاني. ولإبعاد KashifBot عن صفحاتك في كل أنواع الفحص، استخدم قاعدة robots.txt أعلاه.