ایجاد نظامهای بازیابی اطلاعات در مقیاس وسیع بسیار پرهزینه است. هزینههای كاوش قابل ملاحظه هستند و زمان قابل توجهی برای جستجوی اطلاعات در پایگاهها توسط متخصصان اطلاع رسانی و كاربران نهایی صرف میشود، و از همه مهمتر اینكه یك كاوش در بهترین حالت ممكن میتواند آنچه را كه مورد جستجو است بیابد. درحالیكه اطلاعات دیگر حذف میشوند و در بدترین حالت جستجو میتواند اطلاعات بی ارزش را ارائه دهد و در عین حال موارد مورد نیاز را از دست بدهد. بنابراین مهم است بدانیم كدام نظامها و كاوشها و جستجوگران بیش از همه موثرند (لنکستر، ۱۳۷۹).
تحقیقات و تلاشهای بسیاری در جهت حل مساله ارزیابی سیستمهای بازیابی اطلاعات صورت گرفته است و گفته می شود كه بسیاری از افرادی كه در زمینه ذخیره و بازیابی اطلاعات فعالیت دارند احساس میكنند كه این مساله تا حل شدن فاصله زیادی دارد.
اطلاع یابی فعالیتی عملی با هدفی بسیار دقیق و مشخص است با وجود این، تلاشهایی كه در جهت ارزیابی این فعالیت انجام شده برگرفته از كاوشهای واقعی توسط جستجوگران واقعی برای پاسخ به نیاز اطلاعاتی واقعی بوده است. اغلب متفكران علم اطلاع رسانی درگیر این مساله هستند كه چگونه می توان بازیابی اطلاعاتی را به بهترین وجه ارزیابی كرد.
برای قرار دادن مساله ارزیابی در یك چشمانداز می توان سه سوال را مطرح نمود:
كه پاسخ به این سوالات به خوبی زمیته ارزیابی را پوشش خواهد داد.
پاسخ به سوال اول جنبه اجتماعی و اقتصادی دارد. جنبه اجتماعی آن اساسا وابسته به طراحی برای ایجاد یك معیار سنجش اثربخشی در سیستمهای بازیابی اطلاعات است. برای مثال كاربران از تعویض منابع سنتی اطلاعات با یك سیستم كاملا اتوماتیك و تعاملی بازیابی اطلاعات چه سود یا زیانی خواهند برد؟ مطالعات در این زمینه در حال انجامند اما به نتیجه رسیدن كمی دشوار است چرا كه برای برخی از سیستمهای بازیابی، اثربخشی ممكن است راحت تر از سایر سیستم ها اندازه گیری شود.