מדריך מקיף למיפוי אתר באמצעות Screaming Frog

איך לזהות ולתקן שגיאות סריקה עם Screaming Frog תוך שילוב כלים נוספים משלימים כגון Ahrefs ו-Google Search Console.

מה זה Screaming Frog?

Screaming Frog SEO Spider הוא כלי שנועד לסרוק אתרי אינטרנט, כמו זחלן של גוגל, כדי לזהות בעיות טכניות כמו קישורים שבורים, שגיאות סטטוס, תגיות חסרות וכפילויות. הכלי מאפשר לבצע אופטימיזציה מהירה ומדויקת של מבנה האתר וכך מוביל לשיפור הדירוגים במנועי החיפוש.

Screaming Frog מאפשרים להוריד גרסה חינמית, להזין את הדומיין של האתר אותו נרצה לסרוק, ללחוץ על Start, ולתת לו לרוץ. הכלי סורק את האתר ומציג את האתר בצורה שנוחה לבדוק ולתקן את השגיאות במידה וקיימות.​

* חשוב לציין: הגרסה החינמית של התוכנה מאפשרת לסרוק אתרים בגודל של עד 500 עמודים.

איזה בעיות SEO ניתן לאתר באמצעות סריקת האתר בסקרימינג פרוג?

ראשית, נעבור ללשונית Response code > Blocked by robots

אנחנו עוברים על הרשימה ומבינים אילו עמודים באתר נחסמים ע״י קובץ robots.txt, וחושבים לעצמנו, האם זו חסימה “בריאה” — כמו עגלת קניות/סינונים/אדמין – או שחס וחלילה נחסמים דפים שצריכים טראפיק.

אם החסימה יושבת רק על אזורים שלא אמורים להיסרק — זה תקין, אפילו מבורך;
אם היא נוגעת בדפי כסף (קטגוריות/מוצרים/תוכן) — זו כבר נורת אזהרה.

לאחר מכן, נעבור ללשונית Internal > Redirection

אנחנו מסתכלים על כל העמודים הפנימיים שמפנים (301/302) במקום להחזיר 200, כדי להבין איפה האתר “עושה סיבוב” מיותר.
אם אלו הפניות מכוונות והן קצרות בלי שרשראות—מצוין; אם יש redirect chains/loops או הפניות לדפים לא רלוונטיים – אנחנו צריכים לתקן.

לאחר מכן, נמשיך ל- Response Codes > Client Error (4xx)

אנחנו בודקים אילו כתובות פנימיות/חיצוניות באתר מחזירות “אין כזה עמוד”, כלומר משתמשים (וגוגל) נשלחים לדלת סגורה.
אם אלה עמודים שצריכים להתקיים – אנחנו מתקנים את הלינק או עושים 301 לעמוד הכי קרוב; אם אלה עמודים שנמחקו בלי תחליף – אנחנו דואגים לשנות להם את הסטטוס ל-410, כדי להסיר אותם מהאינדקס מהר יותר, לאחר מכן נחזור אחרי זמן מה, נוודא שהם כבר לא באינדקס ונסיר את סטטוס 410. הם כבר לא יחזרו להיות בסטטוס 404.

שגיאות נפוצות:

• Redirect Chains (301): A→B→C (שרשראות הפניה) אשר מעייפות את הזחלנים.
• קישורים בסטטוס קוד 404: קישורים שבורים.

סטטוס 301: זו הפניה קבועה (Moved Permanently) שמודיעה לגוגל ולדפדפנים שהעמוד הועבר לצמיתות לכתובת חדשה, ומעבירה את כוח ה-SEO והדירוגים שהיו לכתובת הישנה לכתובת היעד החדשה – חיוני לשינויי URL ושמירה על דירוגים קיימים.​ במידה ונמצא שיש קישורים פנימיים בתוך האתר שמפנים דרך הפניית 301 לכתובת אחרת – נרצה לתקנם כך שמלכתחילה הקישור יוביל לכתובת הסופית.

סטטוס 404: "Not Found" – העמוד לא קיים, גורם לבזבוז תקציב זחילה שעם הזמן גם יגרום לתוצאת החיפוש של אותו עמוד ליפול מהאינדקס.

סטטוס 410: "Gone" – העמוד נמחק לתמיד, סטטוס זה מבקש ממנועי החיפוש להסיר את התוצאה מהאינדקס באופן מיידי, טוב בעיקר במצבי חירום ובמצבים בהם נרצה שעמוד לא יוצג בתוצאות החיפוש ובמיוחד במצבים של אתר שחווה פריצה והתווספו לו המון עמודים סוררים מאונדקסים.

סטטוס 504: "Gateway Timeout" – שרת שלא מגיב בזמן סביר, בעיית שרת שפוגעת במהירות ובסריקה; יש לבדוק את ה-CDN או את השרת ולתקן מיד ובמידת הצורך לפנות לתמיכה של השרת שהאתר מאוחסן בו.

איך מנתחים קישורים חיצוניים שיוצאים מהאתר?

בלשונית External > All. יש לבדוק האם הקישורים שיוצאים מהאתר שלנו אכן הגיוניים.

לדוגמה, האתר gov.il טוב, כי הוא מוכר וסמכותי, אבל אתר חשוד יכול להיות לדוגמה honeydogodeshosting – במידה ונראה קישורים יוצאים חשודים מהאתר שלנו – נבדוק אותם ובמידת הצורך נחליף / נסיר אותם.

בסוף גוגל בוחן אותנו לא רק ע"י הקישורים הפנימיים שלנו בתוך האתר, אלא גם ע"י הקישורים החיצוניים שאנחנו מוציאים החוצה, ולאילו אתרים.

סוגי בעיות:

1. Blocked by Robots: נרצה לוודא שכתובת היעד אכן הגיונית ואין שום דבר חשוד.
   לדוגמה באתרי אפיליאציה נהוג שלא להפנות ישירות לאתר היעד (כמו בוקינג למשל), אלא דרך הפניה פנימית לכתובת פנימית שמפנה לכתובת החיצונית.
2. No Response / Client Error (4xx): יש להסיר קישורים חיצוניים לאתרים שהם 404 או 403, שלא ניתן להגיע אליהם.

מה בודקים ב-On-Page עם Screaming frog?

את הלשוניות: Page Titles, H1s, Images, Directives.

• Title Description: חובה לעמודים מאונדקסים. יש לשים לב שהם לא ארוכים / קצרים מידי.
• כותרת H1: כל עמוד צריך כותרת H1, אפילו עמודים שנראים כ"פחות חשובים", כמו 'עמוד תקנון'.
• תמונות: תמונה לא אמורה להיות לחיצה, היא אמורה להיות מספיק גדולה בעמוד כדי שיהיה אפשר לראות אותה.
  בנוסף לכך, כאשר מעלים תמונה לאתר, רצוי שהיא תשקול עד 100KB, ותמונת מחבר ששמים בראש פוסט צריכה להיות בגודל 150 על 150 פיקסלים.

אם ב-Screaming Frog אנחנו רואים קישור חיצוני עם Response Time גבוה (למשל מעל 3-5 שניות), זה מאט את סריקת גוגל ואת חוויית המשתמש, כי הזחלן מבזבז תקציב זחילה על עיכובים מיותרים. במקרה כזה, יש לשקול להסיר את הקישור או להחליף אותו באלטרנטיבה מהירה יותר, כדי לשמור על זרימה חלקה באתר וכדי לשפר דירוגים.

שילוב Screaming Frog (SF), Ahrefs ו-Google Search Console (GSC) חיוני לביקורת SEO מלאה, כי סקרימינג פרוג נותן תמונת סריקה מקומית מפורטת (קישורים, שגיאות on-page), הקונסול חושף נתוני סריקה מגוגל, ואילו Ahrefs מוסיף תובנות תחרותיות ו-backlinks.

לסיכום

הצגנו את Screaming Frog ככלי מרכזי למיפוי SEO טכני, עם התמקדות בסריקת קישורים פנימיים / חיצוניים, סטטוסי קודים (301, 302, 404, 410, 504), תיקון בעיות כמו Response Time גבוה, ושילוב מסודר עם Ahrefs ו-GSC – הכול לבניית אתר זורם שגוגל אוהב ומשפר את הדירוגים שלו במהירות.