הגדרה קצרה
Chunking הוא חלוקת מסמך ארוך לקטעים קטנים והגיוניים, בדרך כלל של 200-800 טוקנים, לפני שמזינים אותם למערכת RAG.
הרחבה
איכות ה-chunking קובעת את איכות התשובה: חתיכות גדולות מדי מכניסות רעש, קטנות מדי מאבדות הקשר. אסטרטגיות נפוצות: חלוקה לפי כותרות, חלוקה בגודל קבוע עם חפיפה (overlap), וחלוקה סמנטית שמזהה גבולות טבעיים בין רעיונות.
למה Chunking חשוב לקידום ולשיווק?
כשמנוע AI קורא את העמוד שלכם, הוא לא קורא אותו כמקשה אחת. הוא מפרק אותו לקטעים, ממיר כל קטע לוקטור, ובזמן תשובה שולף רק את הקטעים שהכי מתאימים לשאלה. המשמעות המעשית: לא העמוד שלכם מתחרה על ציטוט אלא הפסקה שלכם. פסקה שמכילה בתוכה שאלה, תשובה והקשר מספיק כדי להיות מובנת בפני עצמה תנצח פסקה מעולה שתלויה בשלוש פסקאות קודמות כדי להיות מובנת.
זה הופך את מבנה התוכן מעניין של עיצוב לעניין של נראות. אתרים ישראליים רבים כותבים מאמרים ארוכים בזרם אחד, עם כותרות כלליות כמו „עוד כמה דברים שחשוב לדעת”. למודל שמבצע chunking זה טקסט שאי אפשר לשלוף ממנו תשובה נקייה. לעומת זאת, תוכן שכתוב מראש ביחידות עצמאיות נשלף ומצוטט לעיתים קרובות הרבה יותר.
איך מודדים ומיישמים את זה בפועל?
אין כלי שמראה לכם איך ChatGPT חילק את העמוד שלכם, אבל אפשר לדמות זאת: העתיקו פסקה בודדת מהעמוד, הדביקו אותה למודל בלי שום הקשר ושאלו „על איזו שאלה הפסקה הזו עונה ועל מי היא מדברת”. אם המודל לא יודע מי העסק או מה הנושא, הפסקה לא שורדת chunking. חזרו על הבדיקה עם הקטע שנמצא מתחת לכל כותרת H2.
בכתיבה עצמה: פתחו כל סעיף במשפט שעומד בפני עצמו וכולל את הנושא במלואו („עלות הסרת שיער בלייזר באזור הרגליים נקבעת לפי...”), במקום משפט שמסתמך על הכותרת („העלות נקבעת לפי...”). שמרו על קטעים של כמה פסקאות תחת כל כותרת, השתמשו ברשימות וטבלאות לנתונים, וחזרו על שם העסק או המונח המרכזי במקום להשתמש ב-„זה” ו-„הם”. אם אתם מפרסמים קובץ llms.txt, ודאו שגם התיאורים בו הם משפטים שלמים ועצמאיים.
טעויות נפוצות
- כותרות משנה שלא מכילות את הנושא, כמו „סיכום” או „עוד טיפים”, שמאבדות משמעות כשהן נשלפות לבד.
- פסקאות שמתחילות ב-„כאמור” או „בנוסף לכך” ותלויות לחלוטין בפסקה הקודמת כדי להיות מובנות.
- תשובה לשאלה שמפוצלת על פני כמה סעיפים, כך שאף קטע בודד לא מחזיק את התשובה המלאה.
- דחיסת כל השאלות הנפוצות לפסקה אחת ארוכה במקום שאלה ותשובה נפרדות לכל נושא.
דוגמה מהשטח
דמיינו חברת שיפוצים שמפרסמת מדריך על „כמה עולה שיפוץ מקלחת”. המחירים מופיעים בטבלה אחת, וההסבר על מה משפיע על המחיר מופיע שלוש פסקאות אחריה. כשמודל מפרק את העמוד לקטעים, אף קטע בודד לא מחזיק גם את המספרים וגם את ההקשר, ולכן מתחרה שמציג מחיר והסבר באותו קטע ייבחר לציטוט. איחוד הטבלה וההסבר תחת כותרת אחת שמנוסחת כשאלה המלאה ייצור קטע עצמאי שעונה על השאלה בשלמותה, וזה בדיוק מה שמערכת RAG מחפשת.
להמשך קריאה
שאלות נפוצות על Chunking
מה האורך האידיאלי של פסקה לתוכן שמיועד למנועי AI?
- אין מספר קסם, אבל כלל האצבע הוא קטע של שלוש עד שש משפטים שעונה על שאלה אחת במלואה. קצר מדי מאבד הקשר, ארוך מדי מערבב כמה נושאים ומוריד את ההתאמה לשאלה ספציפית.
האם chunking רלוונטי גם לגוגל או רק ל-ChatGPT?
- רלוונטי לשניהם. גוגל שולפת פסקאות בודדות ל-Featured Snippets ול-AI Overview כבר שנים, ומערכות ה-RAG של ChatGPT, Perplexity ו-Gemini עובדות על אותו עיקרון. מבנה שעובד לאחד עובד לכולם.
האם כדאי לפצל מאמר ארוך לכמה עמודים קצרים?
- לא בהכרח. מאמר ארוך שבנוי מסעיפים עצמאיים עם כותרות ברורות נשלף היטב ושומר על סמכות נושאית בעמוד אחד. פיצול מתאים רק כשכל חלק עונה על כוונת חיפוש שונה לחלוטין ויכול לעמוד כעמוד בפני עצמו.