איך לסרוק אתר שמוגדר ב- NoIndex באמצעות סקרימינג פרוג

ניסיתם פעם לסרוק אתר שמוגדר כ-NOINDEX באמצעות סקרימינג פרוג? זה לא עבד, נכון? במאמר זה נלמד איך לעשות זאת צעד אחר צעד. בהצלחה.

קצת על סקרימינג פרוג

סקרימינג פרוג או בעברית הצפרדע הצורחת, הינה מערכת המחקה את פעילות הזחילה של מנועי החיפוש, שואבת ומציגה נתונים שחשוב להכיר כאשר מקדמים אתר בגוגל.

מבין הנתונים שניתן להפיק ממערכת זו:

• תגיות שונות – לדוגמא כותרות H1, H2.
• סטטוס http – או איזה קוד כל עמוד מחזיר – האם יש בו שגיאות כמו 301, 404 וכדומה.
• מידע על התמונות באתר – מה גודלן, תגיות ALT בתמונות.
• מיפוי העמודים באתר – האם קיימים עמודים שהבוטים לא יכולים לסרוק – NoIndex או NoFollow.
• ועוד.

באתר תוכלו לראות מדריכי וידאו שונים בנושא סקרימינג פרוג אם רק התחלתם לעבוד עם הכלי הזה ואתם זקוקים להכוונה נוספת.

1. נכנסים לקונפיגורציה (configuration) >>> spider.

2. Spider configuration

מסמנים V באפשרות "Follow internal "NoFollow וגם באפשרות "Follow External "noFollow ולוחצים על OK.

לאחר מכן יש ללכת שוב לקונפיגורציה ולבחור ב- robots.txt >>> settings.

3. הגדרת סריקת robots.txt

בוחרים באופציה: ignore robots.txt but report staatus ולוחצים על OK.

4. בודקים שהכל הוגדר נכון ומבצעים סריקה לאתר שמוגדר ב-NoIndex

אם הכל הוגדר כשורה – תצליחו לסרוק את האתר. במידה ולא הצלחנו, יש לנסות לנקות קאש לאתר או לחילופין לפתוח את הסקרימינג פרוג מחדש ולהגדיר שוב את הגדרות הסריקה שלכם.

לסיכום

סקרימינג פרוג זמינה בחינם ולכולם בסריקה של עד 500 עמודים באתר. לפני שמעלים לאוויר אתר חדש, מומלץ להריץ אותו בסקרימינג פרוג ולפתור את כל הבעיות עוד לפני שעלה לאוויר. בהצלחה!