הגדרה קצרה
Chunking הוא חלוקת מסמך ארוך לקטעים קטנים והגיוניים, בדרך כלל של 200-800 טוקנים, לפני שמזינים אותם למערכת RAG.
הרחבה
איכות ה-chunking קובעת את איכות התשובה: חתיכות גדולות מדי מכניסות רעש, קטנות מדי מאבדות הקשר. אסטרטגיות נפוצות: חלוקה לפי כותרות, חלוקה בגודל קבוע עם חפיפה (overlap), וחלוקה סמנטית שמזהה גבולות טבעיים בין רעיונות.