مقدمه
از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT) هر دو سال یکبار حجم داده ها، دو برابر شده و همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه داده ها چنان گسترش یافتهاند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند.امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه های موجود است.[3]
حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث به وجود آمدن انبارهای عظیمی از داده ها شده است.
این واقعیت، ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است، چنان که در عصر حاضر گفته می شود اطلاعات طلاست.
هم اکنون در هر کشور، سازمان، شرکت و غیره برای امور بازرگانی، پرسنلی، آموزشی، آماری و غیره پایگاه داده ها ایجاد یا خریداری شده است. به طوری که این پایگاه داده ها برای مدیران، برنامه ریزان، پژوهشگران جهت، تصمیم گیری های راهبردی، تهیه گزارش های مختلف، توصیف وضعیت جاری خود و سایر اهداف می تواند مفید باشد. بسیاری از این داده ها از نرم افزارهای تجاری، مثل کاربردهای مالی، ERPها، CRMها و web log ها، می آیند. نتیجه این جمع آوری داده ها این میشود که در سازمانها، داده ها غنی ولی دانش ضعیف، است. جمع آوری داده ها، بسیار انبوه میشود و بسرعت اندازه آن افزایش می یابد و استفاده عملی از داده ها را محدود می سازد.[2]
دادهکاوی استخراج و تحلیل مقدار زیادی داده بمنظور کشف قوانین و الگوهای معنی دار در آنهاست. هدف اصلی داده کاوی، استخراج الگوهایی از داده ها، افزایش ارزش اصلی آنها و انتقال داده ها بصورت دانش است.
دادهکاوی، بهمراه OLAP، گزارشگری تشکیلات اقتصادی(Enterprise reporting) و ETL، یک عضو کلیدی در خانواده محصول Business Intelligence(BI)، است.[2]
حوزههای مختلفی وجود دارد که در آنها حجم بسیاری از داده در پایگاهدادههای متمرکز یا توزیع شده ذخیره میشود. برخی از آنها به قرار زیر هستند: [6]
• کتابخانه دیجیتال: یک مجموعه سازماندهی شده از اطلاعات دیجیتال که بصورت متن در پایگاهدادههای بزرگی ذخیره می شوند.
• آرشیو تصویر: شامل پایگاهداده بزرگی از تصاویر به شکل خام یا فشرده.
• اطلاعات زیستی: بدن هر انسانی از 50 تا 100 هزار نوع ژن یا پروتئین مختلف ساخته شده است. اطلاعات زیستی شامل تحلیل و تفسیر این حجم عظیم داده ذخیره شده در پایگاهداده بزرگی از ژنهاست.
• تصاویر پزشکی: روزانه حجم وسیعی از دادههای پزشکی به شکل تصاویر دیجیتال تولید میشوند، مانند EKG، MRI، ACT، SCAN و غیره. اینها در پایگاهدادههای بزرگی در سیستمهای مدیریت پزشکی ذخیره می شوند.
• مراقبتهای پزشکی: بجز اطلاعات بالا، یکسری اطلاعات پزشکی دیگری نیز روزانه ذخیره میشود مانند سوابق پزشکی بیماران، اطلاعات بیمه درمانی، اطلاعات بیماران خاص و غیره.
• اطلاعات مالی و سرمایهگذاری: این اطلاعات دامنه بزرگی از دادهها هستند که برای دادهکاوی بسیار مطلوب میباشند. از این قبیل دادهها میتوان از دادههای مربوط به سهام، امور بانکی، اطلاعات وامها، کارتهای اعتباری، اطلاعات کارتهای ATM، و کشف کلاهبرداریها می باشد.
• ساخت و تولید: حجم زیادی از این دادهها روزانه به اشکال مختلفی در کارخانهها تولید میشود. ذخیره و دسترسی کارا به این دادهها و تحلیل آنها برای صنعت تولید بسیار بااهمیت است.
• کسب و کار و بازاریابی: داده لازم است برای پیشبینی فروش، طراحی کسب و کار، رفتار بازرایابی، و غیره.
• شبکه راهدور: انواع مختلفی از دادهها در این صنعت تولید و ذخیره می شوند. آنها برای تحلیل الگوهای مکالمات، دنبال کردن تماسها، مدیریت شبکه، کنترل تراکم، کنترل خطا و غیره، استفاده میشوند.
• حوزه علوم: این حوزه شامل مشاهدات نجومی، داده زیستی، داده ژنومیک، و غیره است.
• WWW: یک حجم وسیع از انواع مختلف داده که در هر جایی از اینترنت پخش شدهاند.
در بیشتر این حوزهها، تحلیل دادهها یک روال دستی بود. یک تحلیلگر کسی بود که با دادهها بسیار آشنا بود و با کمک روشهای آماری، خلاصههایی تهیه و گزارشاتی را تولید میکرد. در یک حالت پیشرفتهتر، از یک پردازنده پیچیده پرسش استفاده میشد. اما این روشها با افزایش حجم دادهها کاملا بلااستفاده شدند.
واژه های «دادهکاوی» و «کشف دانش در پایگاه داده» اغلب به صورت مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان یک فرآیند در شکل1 نشان داده شده است.
کشف دانش در پایگاه داده فرایند شناسایی درست، ساده، مفید، و نهایتا الگوها و مدلهای قابل فهم در داده ها میباشد. دادهکاوی، مرحلهای از فرایند کشف دانش میباشد و شامل الگوریتمهای مخصوص دادهکاوی است، بطوریکه، تحت محدودیتهای مؤثر محاسباتی قابل قبول، الگوها و یا مدلها را در داده کشف می کند[3]. به بیان سادهتر، دادهکاوی به فرایند استخراج دانش ناشناخته، درست، و بالقوه مفید از داده اطلاق میشود. تعریف دیگر اینست که، دادهکاوی گونهای از تکنیکها برای شناسایی اطلاعات و یا دانش تصمیمگیری از قطعات داده میباشد، به نحوی که با استخراج آنها، در حوزههای تصمیمگیری، پیش بینی، پیشگویی، و تخمین مورد استفاده قرار گیرند. دادهها اغلب حجیم، اما بدون ارزش میباشند، داده به تنهایی قابل استفاده نیست، بلکه دانش نهفته در داده ها قابل استفاده می باشد. به این دلیل اغلب به داده کاوی، تحلیل داده ای ثانویه گفته میشود.
شکل1: دادهکاوی به عنوان یک مرحله از فرآیند کشف دانش
استخراج دانش در پایگاهداده (KDD)، بعنوان روالی برای شناسایی الگوهای معتبر، جدید، بالقوه مفید، و سرانجام قابل فهم در دادهها، تعریف شده است. روال سراسری شامل تبدیل داده سطح-پایین به دانش سطح-بالاست. روال KDD در شکل 1 بطور خلاصه نشان داده شده است. این روال یک روال تعاملی و تکراری است که شامل مراحل زیر میباشد:[6]
1- درک دامنه کاربرد: این شامل دانش قبلی مرتبط و اهداف کاربرد است.
2- استخراج مجموعه داده هدف: این چیزی نست جز انتخاب یک مجموعه داده یا یک زیرمجموعه از متغیرها، با استفاده از تکنیکهای رتبهبندی و انتخاب است.
3- پیش پردازش داده: این مرحله برای افزایش کیفیت داده بکار گرفته شده برای دادهکاوی، لازم است. همچنین برای بهبود کارایی کاوش داده لازم است. پیش پردازش داده شامل پاکسازی داده، انتقال داده، یکپارچه سازی داده، کاهش یا فشردهسازی داده برای نمایش فشرده، و غیره است.
4- دادهکاوی: این مرحله شمل اعمال یکی از الگوریتمهای دادهکاوی است.
5- تفسیر: شامل تفسیر الگوهای استخراج شده، و تا حد امکان، بصری سازی این الگوهاست. بصری سازی یک کمککننده مهم در قابل فهم سازی الگوهاست.
6- استفاده از دانش استخراج شده: این مرحله شامل تلفیق این دانش با کارایی سیستم و گرفتن تصمیمات عملی براساس این دانش است.
بیشتر تکنیکهای دادهکاوی حداقل به عنوان الگوریتمهای آکادمیک از سالها یا دهه های قبل وجود داشته اند. تنها در دهه اخیر است که دادهکاوی تجاری نقش عمده ای را بازی کرده است.
چرا امروزه ما به دادهکاوی گرایش داریم؟ در زیر تعدادی از دلایل آن آورده شده:[2]
1. مقدار زیاد داده در دسترس: در دهه اخیر، قیمت سخت افزار بویژه فضای دیسک سخت، بسیار کاهش یافته است. و به دنبال آن، تشکیلات اقتصادی مقدار زیادی از داده ها را از کاربردهای زیادی گردآوری کرد. با این انفجار داده ها، تشکیلات اقتصادی می خواهند که الگوهای پنهان در این داده ها را برای هدایت استراتژی های تجارت خود بکار گیرند. دادهکاوی هنگامی بیشترین معنی را پیدا می کند که داده های زیادی وجود داشته باشد. اغلب الگوریتم های دادهکاوی نیازمند میزان زیادی از داده ها هستند تا مدلهایی را ترتیب دهند که بعداً برای دسته بندی، تخمین، پیش بینی یا سایر کارکردهای دادهکاوی مورد استفاده قرار گیرند.
2. افزایش رقابت: رقابت بعلت وجود بازارهای مدرن و کانالهای توزیع مثل اینترنت و ارتباطات راه دور، بطور فزاینده ای در حال افزایش است. تشکیلات اقتصادی با رقابتهای جهان وب مواجه اند و کلید موفقیت در تجارت، حفظ مشتریان کنونی و بدست آوردن مشتریان جدید است. داده کاوی، تکنولوژی هایی دارد که اجازه می دهد که تشکیلات تجاری فاکتورهایی را برای مواجه با این زمینه ها تحلیل کند.
3. آماده بودن تکنولوژی آن: دادهکاوی قبلا فقط در حوزه آکادمیک قرار داشت، اما در حال حاضر بسیاری از این تکنولوژی ها کامل شده اند و برای اعمال در صنعت آماده اند. الگوریتم ها، بسیار دقیق تر و کاراتر شده اند و می توانند بطور فزاینده ای داده های پیچیده را مدیریت کنند. بعلاوه رابط برنامه نویسی کاربردهای داده کاوی(APIها)، اکنون استاندارد شده اند، که به توسعه دهندگان این امکان را می دهند که کاربردهای دادهکاوی بهتری بسازند.
4. علاقه به مدیریت روابط با مشتریان فراوان است: در طیف وسیعی از صنایع، شرکتها به این بینش رسیده اند که مشتریان برای سازمان حیاتی هستند. و اطلاعات درباره آن مشتریها یکی از دارایی های اساسی سازمان می باشد. اطلاعاتی که شرکتها درباره مشتریانشان دارند نه تنها برای خودشان بلکه برای دیگران هم ارزشمند است. اطلاعات یک محصول است. یک شرکت کارت اعتباری چیزهایی می داند که شرکتهای خطوط هوایی دوست دارند بدانند یعنی چه کسی بلیطهای پرواز متعددی می خرد. گوگل می داند مردم در وب دنبال چه چیزی هستند و از این شناخت با فروش لینکهایی با پشتیبان مالی بهره میبرد. در واقع هر شرکتی که داده های با ارزش جمع آوری می کند در موقعیت یک واسطه اطلاعات قرار دارد.
فهرست
مقدمه 4
عناصر داده کاوی 10
پردازش تحلیلی پیوسته: 11
قوانین وابستگی: 12
شبکه های عصبی : 12
الگوریتم ژنتیکی: 12
نرم افزار 13
کاربردهای داده کاوی 13
داده کاوی و کاربرد آن در کسب و کار هوشمند بانک 15
داده کاوی درمدیریت ارتباط بامشتری 16
کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی 17
مدیریت موسسات دانشگاهی 19
داده کاوی آماری و مدیریت بهینه وب سایت ها 21
داده کاوی در مقابل پایگاه داده Data Mining vs database 22
ابزارهای تجاری داده کاوی 23
منابع اطلاعاتی مورد استفاده 24
انبار داده 24
مسائل کسب و کار برای دادهکاوی 26
چرخه تعالی داده کاوی چیست؟ 27
متدلوژی دادهکاوی و بهترین تمرینهای آن 31
یادگیری چیزهایی که درست نیستند 32
الگوهایی که ممکن است هیچ قانون اصولی را ارائه نکنند 33
چیدمان مدل ممکن است بازتاب دهنده جمعیت وابسته نباشد 34
ممکن است داده در سطح اشتباهی از جزئیات باشد 35
یادگیری چیزهایی که درست ولی بلااستفادهاند 37
مدلها، پروفایلسازی، و پیشبینی 38
پیش بینی 41
متدلوژی 42
مرحله 1: تبدیل مسئله کسب و کار به مسئله دادهکاوی 43
مرحله 2: انتخاب داده مناسب 45
مرحله سوم: پیش به سوی شناخت داده 48
مرحله چهارم: ساختن یک مجموعه مدل 49
مرحله پنجم: تثبیت مسئله با دادهها 52
مرحله ششم: تبدیل داده برای آوردن اطلاعات به سطح 54
مرحله هفتم: ساختن مدلها 56
مرحله هشتم: ارزیابی مدل ها 57
مرحله نهم: استقرار مدل ها 61
مرحله 10: ارزیابی نتایج 61
مرحله یازدهم: شروع دوباره 61
وظایف دادهکاوی 62
1- دستهبندی 62
2- خوشهبندی 62
3- تخمین 63
4- وابستگی 65
5- رگرسیون 66
6- پیشگویی 67
7- تحلیل توالی 67
8- تحلیل انحراف 68
9- نمایهسازی 69
منابع 70
شامل 70 صفحه Word
دانلود تحقیق تکنیکها و متدولوژی آن داده کاوی
