הגדרה קצרה
robots.txt הוא קובץ בשורש האתר שמורה למנועי חיפוש ולסוכני AI אילו נתיבים מותר לזחול ואילו אסור.
הרחבה
הקובץ הוא הצהרתי ואינו אכיפתי — בוטים 'טובים' מכבדים אותו, אך אינו חוסם גישה בפועל. שגיאה נפוצה: Disallow: / בסביבת production חוסם את כל האתר. חשוב להצהיר גם על Sitemap ולהוסיף Allow לסוכני AI רלוונטיים (GPTBot, ClaudeBot, Google-Extended).
למה robots.txt חשוב לקידום ולשיווק?
קובץ robots.txt הוא השורה הראשונה שגוגל קורא לפני שהוא נוגע באתר שלכם, ולכן שורה אחת שגויה בו משפיעה על כל האתר בבת אחת. המקרה הקלאסי בישראל הוא אתר חדש שעלה לאוויר עם ההגדרה שחסמה את סביבת הפיתוח, ובעל העסק שואל אחרי חודש למה אין תנועה מגוגל. אין רכיב אחר באתר שבו שגיאה כל כך קטנה גורמת נזק כל כך גדול.
מהצד השני, הקובץ הוא גם כלי שליטה חיובי: הוא מאפשר למנוע זחילה של אזורי ניהול, תוצאות חיפוש פנימי, עגלות קנייה ופרמטרים חסרי ערך, וכך לכוון את גוגל לדפים שמכניסים כסף. בשנתיים האחרונות נוסף לו תפקיד חדש: ההחלטה האם לאפשר לסוכני AI כמו GPTBot ו-ClaudeBot לקרוא את התוכן. עסק שרוצה להיות מצוטט בתשובות של צ׳אטבוטים צריך לוודא שהוא לא חוסם אותם בטעות.
איך מודדים ומיישמים את זה בפועל?
הקובץ חייב להיות בכתובת השורש של הדומיין (לדוגמה, הדומיין שלכם ואחריו /robots.txt). פותחים אותו בדפדפן ובודקים שלוש שורות קריטיות: שאין Disallow: / כללי, שיש שורת Sitemap עם הכתובת המלאה של מפת האתר, ושאין חסימה של תיקיות CSS ו-JS שגוגל צריך כדי לרנדר את הדף. ב-Google Search Console יש דוח robots.txt (תחת הגדרות) שמציג את הגרסה שגוגל קרא, מתי, ואם היו בה שגיאות תחביר.
כדי לבדוק האם כתובת מסוימת חסומה משתמשים בכלי בדיקת כתובת URL ב-Search Console; הוא מציין במפורש ״נחסם על ידי robots.txt״. באתרי וורדפרס הקובץ נוצר לרוב וירטואלית על ידי התוסף (Rank Math, Yoast), ואפשר לערוך אותו משם. אחרי כל שינוי כדאי להריץ סריקה ב-Screaming Frog עם כיבוד robots.txt ולראות אילו דפים הסורק דילג עליהם. לגבי סוכני AI: מוסיפים חוקים נפרדים לפי שם הסוכן, ומחליטים במכוון, לא בברירת מחדל.
טעויות נפוצות
- מעלים אתר לאוויר עם Disallow: / שנשאר מסביבת הפיתוח, וחוסמים את האתר כולו.
- משתמשים ב-robots.txt כדי להסתיר דף רגיש, כשבפועל הקובץ ציבורי ורק מסמן לכולם איפה הדף.
- חוסמים תיקיות של CSS ו-JavaScript, וגוגל רואה דף שבור ולא מבין את התוכן.
- חוסמים דף שרוצים להסיר מהאינדקס במקום להשתמש ב-noindex, והדף נשאר בתוצאות.
- שוכחים לעדכן את שורת ה-Sitemap אחרי מעבר דומיין או שינוי תוסף.
דוגמה מהשטח
נניח שמשרד עורכי דין משיק אתר חדש אחרי חודשים של עבודה. הסטודיו העתיק את הקובץ מסביבת הבדיקות, שבה כל האתר היה חסום כדי שלא יתאנדקס לפני הזמן. חודש אחרי העלייה לאוויר הטלפון שקט, ובדיקה ב-Search Console מראה שכל הדפים מסומנים ״נחסם על ידי robots.txt״. אחרי מחיקת השורה החוסמת, הוספת שורת Sitemap ובקשת אינדוקס לדפים המרכזיים, גוגל חוזר לזחול את האתר, אבל חודש של נוכחות אורגנית כבר אבד, ובמקביל גם המתחרים התבססו על הביטויים.
להמשך קריאה
שאלות נפוצות על robots.txt
האם robots.txt מסיר דף מתוצאות החיפוש?
- לא. הקובץ מונע מגוגל לזחול את הדף, אבל אם גוגל כבר מכיר אותו, או שיש אליו קישורים, הוא יכול להישאר בתוצאות בלי תיאור. להסרה משתמשים בתג noindex, בקוד 410 או בכלי ההסרה ב-Search Console.
האם כדאי לחסום את GPTBot ושאר סוכני ה-AI?
- לרוב העסקים לא. סוכנים אלה הם הדרך שבה ChatGPT ודומיו לומדים על העסק ומצטטים אותו בתשובות. חסימה מתאימה בעיקר לאתרי תוכן שמוכרים את התוכן עצמו ולא רוצים שישמש לאימון מודלים.
איך בודקים שקובץ robots.txt לא חוסם משהו חשוב?
- פותחים את דוח robots.txt ב-Google Search Console ובודקים שאין שגיאות, ואז מריצים את הדפים המרכזיים בכלי בדיקת כתובת URL. במקביל סורקים את האתר ב-Screaming Frog ובודקים אילו כתובות סומנו כחסומות.