איך לבדוק אם אתר פתוח לסריקה למנועי AI בקליק

הכנתי מדריך שמראה איך בקליק אחד נוכל לבדוק האם האתר שלנו פתוח לסריקה במנועי ה-AI השונים (למעלה מ-140 מנועים בבדיקה אחת קצרה ופשוטה).

מהם שלבי הבדיקה?

1. נכנסים לכתובת: https://bot.dejan.ai.
2. מזינים את כתובת האתר אותה נרצה לבדוק ומדביקים בשורת החיפוש:
   
3. לוחצים על Run Test – בזמן הזה אתר מריץ בדיקה ב-147 מנועי AI שונים.
4. לאחר ההרצה נקבל את המסך הבא:
   

   

   מה התוצאות אומרות?

   השורה העליונה מציגה את המספרים היבשים של תוצאות הבדיקה

   • Health Score (93.9%): הציון הזה משקף כמה האתר זמין ונגיש לבוטים. ציון גבוה (כמו 93.9%) אומר שהאתר מאוד "פתוח" ומגיב היטב לרוב הסורקים.

   • Accessible (138): מתוך 147 בוטים שנבדקו, 138 הצליחו להיכנס ולראות את התוכן.

   • Server Blocked (2): רק 2 בוטים נחסמו ישירות על ידי השרת (כנראה הגנת Firewall או חסימת IP).

   • Errors/Timeouts (7): ל-7 בוטים היו בעיות טכניות (האתר לא ענה להם בזמן או שהייתה שגיאת תקשורת).

   • Robots.txt Blocked (0): אפס בוטים נחסמו על ידי קובץ ה-Robots.txt של האתר. זה אומר שכרגע הקובץ לא מונע מאף אחד ממנועי ה-AI לסרוק את האתר.

   

טבלת AI Visibility

כאן הטבלה מפרקת את הבוטים לפי המטרה שלהם:

קטגוריה	מה זה אומר?	אחוז גישה (Access Rate)
AI Training	בוטים שאוספים מידע כדי לאמן מודלים (כמו ChatGPT או Claude).	74% – חלקם נחסמו או נכשלו (כפי שראינו באחת התמונות הקודמות עם שגיאות 429).
AI Search	מנועי חיפוש מבוססי AI (כמו Perplexity).	100% – כולם מצליחים לסרוק.
AI User	בוטים שפועלים בשם משתמש ספציפי שביקש מה-AI "לך תסכם לי את האתר הזה".	100% – כולם מצליחים לסרוק.
Autonomous Agent	סוכנים עצמאיים שמבצעים משימות מורכבות ברשת.	100% – כולם מצליחים לסרוק.

תוצאות הגרף

הגרף הוא "תרגום ויזואלי" של הנתונים שראינו בטבלאות הקודמות. הוא מראה את התפלגות הבוטים שמבקרים באתר לפי הקטגוריה שלהם ומה הייתה התוצאה של ניסיון הכניסה שלהם.

1. מקרא הצבעים (הסטטוס)

• ירוק (Success): הבוט הצליח להיכנס לאתר, לסרוק את התוכן ולקבל את המידע שרצה.

• אפור (Error): הבוט נתקל בשגיאה טכנית ולא הצליח להשלים את הסריקה.

• אדום (Blocked): הבוט נחסם באופן אקטיבי על ידי השרת שלך.

2. ניתוח הקטגוריות העיקריות

• SEO (העמודה הגבוהה ביותר): זו הקבוצה הגדולה ביותר של בוטים שמבקרים אצלך. אלו מנועי חיפוש (כמו גוגל, בינג וכו'). העובדה שהיא כולה ירוקה אומרת שהאתר מאוד "ידידותי" למנועי חיפוש סטנדרטיים, וזה מצוין לקידום האתר.

• AI Training (בינה מלאכותית): הקבוצה השנייה בגודלה. ניתן לראות כאן חלק אפור משמעותי יחסית – אלו אותם בוטים שראינו קודם (כמו אמאזון או אנת'רופיק) שקיבלו שגיאת 429 כי הם ניסו לסרוק מהר מדי והשרת הגביל אותם.

• SEO Tools: יש כאן פס אדום קטן. זה המקום היחיד שבו המערכת זיהתה בוט וחסמה אותו באופן פעיל.

טבלת התוצאות

בחלק האחרון של התוצאות קיימת טבלה שמסכמת את הפעולות שבוצעו בעת סריקת האתר שלנו, עכשיו נסביר מה כל עמודה אומרת לנו:

• Bot Name (שם הבוט): מזהה איזה בוט סרק את האתר (למשל: OpenAI, Google, Meta, Apple).

• Category (קטגוריה): מגדירה את מטרת הסריקה. למשל:

  • AI Training: איסוף תוכן כדי ללמד מודלים של בינה מלאכותית.

  • SEO: סריקה לצורכי אינדוקס במנועי חיפוש.

  • Social Media: בוטים של רשתות חברתיות (כמו פייסבוק).

• Status (סטטוס): קוד התגובה שהשרת שלך החזיר לבוט.

  • 200 (ירוק): הצלחה. השרת נתן לבוט להיכנס ולקרוא הכל.

  • 429 (אדום): "יותר מדי בקשות". השרת חסם את הבוט זמנית כי הוא סרק מהר מדי והכביד על המערכת.

• Response Time (זמן תגובה): המהירות (בשניות) שבה השרת שלך ענה לבקשת הבוט. ככל שהמספר נמוך יותר, השרת הגיב מהר יותר.

• Robots.txt: מראה האם קובץ ה-robots.txt הנוכחי באתר מאפשר לבוט להיכנס. בטבלה כולם מופיעים כ-Allowed (מאושר).

• Respects Robots (כיבוד חוקים): האם הבוט הזה נחשב ל"מנומס".

  • Yes: הוא תמיד יבדוק אם יש לו אישור כניסה ויציית להוראה.

  • Partial: מציית לחלק מהחוקים או רק לפעמים.

  • Often ignores: נוטה להתעלם מהוראות וסורק גם אם הוגדר שלא.

• Concern Level (רמת חשש): ציון הסיכון שהמערכת נותנת לבוט.

  • Low: בוט בטוח שלא אמור להדאיג אותך.

  • Medium: בוט שיש לעקוב אחריו כי הוא עלול לאסוף מידע בצורה אגרסיבית.

  • High: בוט בעייתי שמתעלם מחוקים ועלול "לגנוב" תוכן או להאט את האתר.

לסיכום

האתר שסרקנו (אתר הסוכנות שלנו "עשהאל דיגיטל"), אכן פתוח לסריקה ע"י מנועי ה-AI ובנוסף הוא יודע לשים איזשהו גבול במידה והסריקה לוקחת יותר מידי משאבים מהשרת באתר. במאמר למדנו בצורה פרקטית איך אנחנו בודקים אם האתר שאנחנו מקדמים פתוח לסריקה ע"י מנועי ה-AI, איך מנתחים את התוצאות שמתקבלות מהסריקה ולבסוף קיבלנו עוד כלי שיעזור לנו לקדם את האתר בעולם החדש של "מהפכת ה-AI".