הגדרה קצרה
llms.txt הוא קובץ טקסט בשורש האתר שמספק למודלי AI מפת קריאה מסודרת של התוכן החשוב והמעודכן ביותר באתר.
הרחבה
הפרוטוקול הוצע ב-2024 על ידי Jeremy Howard וזוכה לאימוץ הולך וגובר על ידי סוכני AI ומודלים שמבצעים fetching חי. הקובץ כתוב ב-Markdown ומכיל קישורים לדפים מרכזיים עם תיאורים קצרים. גרסה מורחבת נקראת /llms-full.txt ומכילה את גוף התוכן עצמו לצריכה ישירה של מודלים.
למה llms.txt חשוב לקידום ולשיווק?
סוכני AI שמבצעים fetching חי לא עוברים על האתר כמו Googlebot. הם מוגבלים בכמות הטקסט שהם יכולים לקרוא בבת אחת, ולכן תפריט, פוטר, סקריפטים וחלונות קופצים גוזלים חלק גדול מהמקום שהיה צריך ללכת לתוכן. llms.txt נותן להם רשימה קצרה: אלה הדפים החשובים, זה מה שיש בכל אחד, מכאן תתחילו. במקום לתת למודל לנחש מה חשוב באתר שלכם, אתם אומרים לו.
חשוב לדייק בציפיות. נכון להיום אין אישור רשמי מגוגל, OpenAI או Anthropic שהקובץ משפיע על דירוג או על ציטוט, ולכן הוא לא תחליף לתוכן טוב ול-SEO. היתרון שלו הוא בעלות: הקמה של שעה, אפס סיכון, ותועלת למודלים ולסוכנים שכן קוראים אותו. לעסק ישראלי עם אתר בעברית, הקובץ גם מאפשר להציג תיאור אנגלי קצר של כל דף מרכזי, מה שמקל על מודלים שעובדים טוב יותר באנגלית.
איך מודדים ומיישמים את זה בפועל?
יוצרים קובץ טקסט בשם llms.txt בשורש הדומיין, בפורמט Markdown. בשורה הראשונה כותרת H1 עם שם העסק, אחריה ציטוט קצר (blockquote) שמתאר מה אתם עושים ולמי, ואחר כך סעיפי H2 לפי נושא: שירותים, מדריכים, אודות, יצירת קשר. בכל סעיף רשימה של קישורים מלאים, כל אחד עם תיאור של שורה. בוחרים את עשרים עד חמישים הדפים החשובים באמת, לא את כל האתר. אפשר להוסיף סעיף Optional לדפים משניים.
אם רוצים, יוצרים גם llms-full.txt עם הטקסט המלא של הדפים המרכזיים. בודקים שהקובץ מוגש עם Content-Type של טקסט, שאינו חסום ב-robots.txt ושהוא חוזר בסטטוס 200. מעדכנים אותו בכל פעם שמוסיפים דף מרכזי או משנים כתובות. בלוגי השרת אפשר לראות אילו סוכנים מבקשים אותו. באתרי WordPress יש תוספים שמייצרים אותו אוטומטית מהסיטמאפ, אבל קובץ שנערך ידנית עם תיאורים טובים עדיף.
טעויות נפוצות
- לזרוק לקובץ את כל הסיטמאפ, אלפי כתובות בלי תיאור, ולהפוך אותו לחסר תועלת למודל.
- לשכוח לעדכן את הקובץ אחרי מעבר דומיין או שינוי כתובות ולהשאיר קישורים שבורים.
- להעתיק לתוכו טקסט שיווקי ריק במקום תיאור עובדתי של מה יש בכל דף.
- לצפות שהקובץ יגרום לציטוטים כשהדפים עצמם דלים או לא מאונדקסים בגוגל.
- לשים את הקובץ בתיקיית משנה או עם סיומת שגויה, כך שסוכנים לא ימצאו אותו בכתובת הסטנדרטית.
דוגמה מהשטח
לדוגמה, נניח שסוכנות ביטוח עם אתר של מאות עמודים מקימה llms.txt עם שישה סעיפים: ביטוח רכב, ביטוח דירה, ביטוח בריאות, מחשבונים, מדריכים ויצירת קשר. בכל סעיף חמישה עד שמונה קישורים עם תיאור של שורה באנגלית ובעברית. ההקמה תיקח שעה או שתיים. סוכן AI שמגיע לאתר יקבל מפה ברורה במקום לגשש בין מאות דפי מוצר, והסוכנות מקבלת בדרך גם מסמך פנימי שמגדיר מה הדפים החשובים באמת, שימושי גם לצוות השיווק עצמו.
להמשך קריאה
שאלות נפוצות על llms.txt
האם llms.txt משפיע על הדירוג בגוגל?
- לא. גוגל לא הכריזה שהיא משתמשת בקובץ, והוא לא גורם דירוג. הערך שלו הוא עבור סוכני AI ומודלים שקוראים אתרים בזמן אמת, ובמחיר הקמה נמוך מאוד.
מה ההבדל בין llms.txt ל-robots.txt?
- robots.txt אומר לסורקים לאן אסור להם להיכנס. llms.txt אומר למודלים לאן כדאי להם להיכנס קודם ומה הם ימצאו שם. הראשון הוא מסמך הרשאות, השני הוא מפת קריאה.
האם צריך גם llms-full.txt?
- לא חובה. הוא שימושי כשיש לכם תיעוד או מדריכים ארוכים שרוצים שמודל יקרא בשלמותם בבקשה אחת. לאתר עסקי רגיל, llms.txt עם תיאורים טובים מספיק בהחלט.