הגדרה קצרה
RAG הוא ארכיטקטורה שמשלבת מודל שפה עם שאיבה של מסמכים חיצוניים בזמן אמת, כך שהתשובה מבוססת על מקורות מאומתים ולא רק על ידע פנימי של המודל.
הרחבה
המערכת מבצעת חיפוש (retrieval) על בסיס נתונים או על האינטרנט, מזרימה את הקטעים הרלוונטיים לתוך ה-prompt של המודל, והוא מייצר תשובה שנשענת על המידע החי. RAG הוא המנגנון שמאפשר ל-ChatGPT Search, Perplexity ו-Gemini לצטט אתרים אמיתיים ולהפחית הזיות.