הגדרה קצרה
robots.txt הוא קובץ בשורש האתר שמורה למנועי חיפוש ולסוכני AI אילו נתיבים מותר לזחול ואילו אסור.
הרחבה
הקובץ הוא הצהרתי ואינו אכיפתי — בוטים 'טובים' מכבדים אותו, אך אינו חוסם גישה בפועל. שגיאה נפוצה: Disallow: / בסביבת production חוסם את כל האתר. חשוב להצהיר גם על Sitemap ולהוסיף Allow לסוכני AI רלוונטיים (GPTBot, ClaudeBot, Google-Extended).