הגדרה קצרה
תקציב זחילה הוא מספר הדפים שגוגל מוכן לזחול באתר שלך בפרק זמן נתון, ומושפע מגודל האתר, מהירות השרת וסמכות הדומיין.
הרחבה
אתרים קטנים לא צריכים לדאוג לתקציב הזחילה. אתרים גדולים (מעל 10,000 URL) חייבים לנהל אותו: לסגור פרמטרים מיותרים ב-robots.txt, להימנע ממלכודות זחילה, לתחזק sitemap נקי, ולוודא שדפים חשובים לא נחסמים על ידי nofollow פנימי מיותר.
למה Crawl Budget חשוב לקידום ולשיווק?
גוגל לא זוחל אתרים בלי הגבלה. לכל אתר מוקצבת כמות ביקורים שנגזרת מהביקוש לתוכן שלו ומהעומס שהשרת יכול לשאת. כשחלק גדול מהתקציב מתבזבז על דפי סינון, פרמטרים של מיון, עמודי תגיות ריקים או עותקים כפולים של אותו מוצר, הדפים שבאמת מכניסים כסף מתעדכנים באינדקס באיחור, ודפים חדשים מחכים ימים עד שגוגל מגיע אליהם.
בישראל הנושא רלוונטי בעיקר לחנויות אונליין, לאתרי נדל״ן ולוחות מודעות, לאתרי תוכן עם ארכיון גדול ולאתרים שעברו מיגרציה והשאירו אחריהם אלפי כתובות ישנות. אתר עסקי של עשרות דפים לא צריך לנהל תקציב זחילה, אבל כן צריך להימנע מהטעויות שיוצרות מלכודות זחילה, כמו לוח שנה אינסופי או חיפוש פנימי שמייצר כתובת חדשה לכל שאילתה.
איך מודדים ומיישמים את זה בפועל?
הכלי המרכזי הוא דוח סטטיסטיקת הסריקה ב-Google Search Console (תחת הגדרות). הוא מציג כמה בקשות גוגל שולח ביום, מה זמן התגובה הממוצע של השרת, ואיזה חלק מהבקשות הלך לדפי HTML לעומת תמונות, סקריפטים או הפניות. קפיצה בבקשות שמסתיימות ב-404 או ב-301 היא סימן לבזבוז. דוח האינדוקס משלים את התמונה: כמות גדולה של דפים בסטטוס ״נסרק, לא אונדקס״ או ״התגלה, לא נסרק״ מעידה שגוגל מגיע לדפים שהוא לא מוצא בהם ערך.
לאבחון עמוק מריצים סריקה ב-Screaming Frog ובודקים כמה כתובות ייחודיות הסורק מוצא לעומת כמות הדפים שבאמת רציתם לאנדקס. אם הפער גדול, מזהים את המקור (פרמטרים, פאגינציה, תגיות) ומטפלים: חסימה ב-robots.txt לנתיבים חסרי ערך, canonical לעותקים, noindex לדפים שחייבים להישאר נגישים לגולשים, ומחיקה או 410 לדפים שאינם קיימים. בסוף מוודאים שה-sitemap מפרט רק כתובות שמחזירות 200 ומיועדות לאינדוקס.
טעויות נפוצות
- חוסמים ב-robots.txt דפים שכבר באינדקס ומצפים שייעלמו, כשבפועל גוגל רק מפסיק לבקר בהם.
- משאירים אלפי כתובות ישנות אחרי מיגרציה בלי הפניה או 410, וגוגל ממשיך לבקר בהן.
- מאפשרים לחיפוש הפנימי ולסינון המוצרים לייצר כתובות אינסופיות שגוגל מגלה דרך קישורים.
- מתעלמים מזמן תגובת שרת איטי, שגורם לגוגל להאט את קצב הזחילה מיוזמתו.
- מנסים לנהל תקציב זחילה באתר של חמישים דפים במקום להשקיע בתוכן ובקישורים.
דוגמה מהשטח
נניח שחנות אופנה ישראלית מציעה סינון לפי צבע, מידה, מחיר ומותג, וכל שילוב מייצר כתובת חדשה. במקום כאלף דפי מוצר וקטגוריה, הסורק של גוגל מוצא מאות אלפי כתובות, ורובן זהות מבחינת תוכן. מוצרים חדשים נכנסים לאינדקס באיחור של ימים ומבצעים מתפרסמים לפעמים אחרי שנגמרו. הפתרון: חסימת פרמטרי הסינון ב-robots.txt, canonical מכל שילוב לקטגוריה הראשית, ו-sitemap שמפרט רק את דפי המוצר והקטגוריה. בתוך שבועות הזחילה מתרכזת בדפים שמוכרים.
להמשך קריאה
שאלות נפוצות על Crawl Budget
איך יודעים אם לאתר שלי יש בעיית תקציב זחילה?
- בדקו בדוח סטטיסטיקת הסריקה של Search Console כמה בקשות גוגל מבצע ביום, והשוו למספר הדפים שאתם מפרסמים או מעדכנים. אם דפים חדשים מחכים ימים לאינדוקס, ורבים מהם מסומנים ״התגלה, לא נסרק״, יש בעיה.
האם אתר קטן צריך לדאוג לתקציב זחילה?
- בדרך כלל לא. אתר של עשרות או מאות דפים נזחל במלואו בלי קושי. חשוב רק להימנע ממלכודות זחילה, כמו חיפוש פנימי שמייצר כתובות אינסופיות או לוח שנה שאפשר לדפדף בו לנצח.
האם חסימה ב-robots.txt חוסכת תקציב זחילה?
- כן, זה הכלי הישיר ביותר: גוגל לא מבקר בנתיבים שנחסמו. אבל הוא לא מתאים להסרת דפים מהאינדקס, כי דף חסום שגוגל כבר מכיר יכול להישאר בתוצאות. לשם כך משתמשים ב-noindex או ב-410.