پایان نامه بررسی روش های متن کاوی

اختصاصی از یارا فایل پایان نامه بررسی روش های متن کاوی دانلود با لینک مستقیم و پرسرعت .

مقدمه

پیشرفت­های به وجود امده در جمع­اوری داده و قابلیت­های ذخیره سازی در طی دهه­های اخیر باعث شده در بسیاری از علوم با حجم بزرگی از اطلاعات روبرو شویم. محققان در زمینه­های مختلف مانند مهندسی، ستاره شناسی، زیست شناسی و اقتصاد هر روز با مشاهدات بیشتر و بیشتری روبرو می­شوند. در مقایسه با بسترهای داده­ای قدیمی و کوچکتر، بسترهای داده­ای امروزی چالش­های جدیدی در تحلیل داده­ها بوجود اورده­اند. روش­های اماری سنتی به دو دلیل امروزه کارایی خود را از دست داده­اند. علت اول افزایش تعداد مشاهدات (observations) است و علت دوم که از اهمیت بالاتری برخوردار است، افزایش تعداد متغیرهای مربوط به یک مشاهده می­باشد.

تعداد متغیرهایی که برای هر مشاهده باید اندازه­گیری شود، ابعاد داده نامیده می­شود. عبارت "متغیر" (variable) بیشتر در امار استفاده می­شود در حالی که در علوم کامپیوتر و یادگیری ماشین بیشتر از عبارات "ویژگی" (feature) و یا "صفت" (attribute) استفاده می­شود.

فهرست

مقدمه. 2

روش های مبتنی بر استخراج ویژگی.. 4

روش های انتخاب ویژگی.. 5

تعاریف.. 6

بررسی توابع مختلف ارزیابی و تولید کننده 10

توابع تولید کننده 11

جستجوی کامل.. 11

جستجوی مکاشفه ای.. 12

جستجوی تصادفی.. 12

توابع ارزیابی.. 12

دسته بندی و تشریح الگوریتم های مختلف انتخاب ویژگی.. 17

تابع ارزیابی مبتنی بر فاصله - تابع تولید کننده مکاشفه ای.. 18

روش Relief. 18

روش Jakub. 20

تابع ارزیابی مبتنی بر فاصله - تابع تولید کننده کامل.. 21

تابع ارزیابی مبتنی بر اطلاعات - تابع تولید کننده مکاشفه ای.. 23

1)     روش درخت تصمیم(DTM) 23

الگوریتم  C4.5. 23

2)     روش استفاده شده توسط Kollerو Sahami 27

پوشش مارکوف.. 27

تابع ارزیابی مبتنی بر وابستگی - تابع تولید کننده مکاشفه ای.. 30

2)     روش PreSet 31

تابع ارزیابی مبتنی بر سازگاری - تابع تولید کننده کامل.. 32

1)     روش Focus. 32

2)     روش Schlimmer 38

3)     روش MIFES1. 38

تابع ارزیابی مبتنی بر سازگاری - تابع تولید کننده تصادفی.. 39

تابع ارزیابی مبتنی بر خطای طبقه بندی کننده- تابع تولید کننده مکاشفه ای.. 41

2)     روش SBS (Sequential Backward Selection) 41

3)     روش SBS-Slash. 41

4)     روش PQSS ((p,q) Sequential Search) 42

5)     روش BDS (Bi-Directional Search) 42

6)     روش Schemata Search. 42

7)     روش RC (Relevance in Context) 43

8)     روش Queiros and Gelsema. 43

تابع ارزیابی مبتنی بر خطای طبقه بندی کننده - تابع تولید کننده کامل.. 43

تابع ارزیابی مبتنی بر خطای طبقه بندی کننده - تابع تولید کننده تصادفی.. 44

جمع بندی روش های انتخاب ویژگی.. 46

روش های فرا اکتشافی.. 49

روش های مکاشفه ای.. 50

انواع الگوریتم‌های مکاشفه‌ای.. 51

پیاده‌سازی الگوریتم های فرا اکتشافی.. 53

ویژگی های مشترک روش های فرا اکتشافی.. 54

دسته‌بندی الگوریتم‌های فرا اکتشافی.. 54

الگوریتم ژنتیک (Genetic Algorithm) 56

مراحل الگوریتم ژنتیک... 59

انواع کدینگ... 59

روشهای کدینگ... 60

روش های پیاده سازی عملگر ترکیب.. 61

1. ترکیب تک نقطهای : 61
2. ترکیب دو نقطهای : 62
3. ترکیب یکنواخت: 63
4. ترکیب حسابی: 64

انواع روش های جهش... 65

الگوریتم ژنتیک برای انتخاب ویژگی.. 67

الگوریتم بهینه سازی جمعیت مورچگان (ACO) 68

الگوریتم ACO برای انتخاب ویژگی.. 71

الگوریتم بهینه سازی انبوه ذرات (PSO) 74

الگوریتم PSO برای انتخاب ویژگی.. 75

الگوریتم جستجوی ممنوعه (Tabu Search) 79

استراتژی‌های پیشرفته‌ جستجوی ممنوعه. 82

حافظه ها در جستجوی ممنوعه. 83

الگوریتم جستجوی ممنوعه برای انتخاب ویژگی.. 84

فهرست منابع و مراجع. 87

فهرست اشکال

عنوان                                                                                                                                                                                          صفحه

شکل 1- فرایند انتخاب ویژگی.. 11

شکل 2- مقایسه توابع ارزیابی مختلف.. 20

شکل 4- الگوریتم Branch and Bound. 26

شکل 5- الگوریتم درخت تصمیم. 30

شکل 9- الگوریتم روش Focus. 36

شکل 10- الگوریتمی دیگر از روش Focus. 37

شکل 11- الگوریتم Focus-2. 38

شکل 12- کلاسهای مورد بررسی در الگوریتم Focus. 39

شکل 13- روند الگوریتم Focus. 40

شکل 14- حل ناسازگاری در الگوریتم Focus. 41

شکل 15- الگوریتم روش LVF. 43

شکل 16- طبقهبندی روش های مختلف انتخاب ویژگی.. 50

شکل 1- بهینه محلی و بهینه کلی.. 61

شکل 7- ترکیب تک نقطهای.. 65

شکل 12- جهش باینری.. 69

شکل 17- فرایند انتخاب ویژگی در ACO.. 75

کد استفاده از کتابخانه های ابزارهای پردازش متن فارسی - متن کاوی

اختصاصی از یارا فایل کد استفاده از کتابخانه های ابزارهای پردازش متن فارسی - متن کاوی دانلود با لینک مستقیم و پرسرعت .

کد استفاده از کتابخانه های ابزارهای پردازش متن فارسی

در این کد که به زبان سی شارپ نوشته شده است چگونگی استفاده از کتابخانه های  ابزارهای پردازش متن فارسی زیر آورده شده است:

–  نرمالسازی متون فارسی – Normalizer

– تشخیص جملات – Sentence Spliter

– تشخیص کلمات – Tokenizer

– ریشه یابی کلمات – Stemmer

– برچسب زنی نحوی کلمات  – POS Tagger

– تشخیص گروه های تشکیل دهنده جملات  – Parser

– تبدیل عبارات عامیانه و محاوره ای به عبارات رسمی  – Formal

 

 

ابزارهای لازم برای پردازش متن در زبان فارسی - متن کاوی

اختصاصی از یارا فایل ابزارهای لازم برای پردازش متن در زبان فارسی - متن کاوی دانلود با لینک مستقیم و پرسرعت .

ابزارهای لازم برای پردازش متن در زبان فارسی

تشخیص دهنده ی جمله: این ابزار باید با توجه به کاراکترهای جداکننده ی جمله در زبان فارسی، توانایی تشخیص جملات را در متن ورودی داشته باشد. برای ایجاد این ابزار باید ابتدا تمامی کاراکترها، نماد ها و احیاناً قواعد دستوری که باعث شکسته شدن جملات می شوند، شناسایی گردند. با توجه به پایه بودن جمله در بسیاری از پردازش های زبانی، خروجی دقیق این ابزار از درجه ی اهمیت بالایی برخوردار است. از نمونه های انگلیسی آن می توان به OpenNLP، Stanford NLP، NLTK و Freeling اشاره کرد.

Tokenizer: ابزاری برای شکستن یک متن بر اساس واحدهای با معنی مانند کلمه، پاراگراف، نمادهای معنادار مانند space و  tab و … . لازمه ی ایجاد این ابزار جمع آوری واحد هایی است که در زبان فارسی به عنوان واحد های مستقل معنایی شناخته می شوند. سپس بر اساس انتخاب هر کدام از این واحدها متن بر اساس آن شکسته خواهد شد. از نمونه های انگلیسی آن می توان به Flex، JLex، JFLex، ANTLR، Ragel و Quex اشاره کرد.

Named entity recognition: ابزاری برای تشخیص اسامی و نوع آنها اعم از اسامی افراد، اماکن، مقادیر عددی و … . برای تشخیص اینکه یک کلمه اسم است، راه های مختلفی وجود دارد که از جمله ی آنها مراجعه به لغتنامه، مراجعه به word-net، در نظر گرفتن ریشه ی کلمه، استفاده از قواعد نحوی ساخت واژه و … می باشد. در این ابزار پس از تشخیص اسم ها با استفاده یک لغتنامه از اسامی افراد، مکان ها، مقادیر عددی و … نوع اسم تشخیص داده می شود. به نظر می رسد که این لغتنامه در فارسی موجود نمی باشد.

از جمله نمونه های انگلیسی این ابزار می توان به Stanford NER و Illinois NER اشاره کرد.

Word-net: مجموعه ای از لغات و ارتباط میان آنها به لحاظ معنایی. ارتباطات معنایی در داخل این مجموعه شامل ۱۶  رابطه  می باشد. این مجموعه به عنوان یک مرجع در بسیاری از پردازش های زبانی مورد استفاده قرار می گیرد. ار نمونه های انگلیسی آن می توان به Princeton Wordnet و EuroWordnet اشاره کرد. آزمایشگاه فناوری وب دانشگاه فردوسی مشهد نیز یک نمونه از این مجموعه با نام فردوس نت را تولید کرده است.

Stemmer: ابزاری برای ریشه یابی لغات و تشخیص نوع کلمه ساخته شده از آن ریشه (اسم مکان، اسم زمان، حالت فاعلی، مفعولی و …). معمولاً ریشه یابی لغات بر اساس قواعد ساخت واژه ای و سپس حذف پسوندها می باشد. تاکنون روش مؤثری برای حذف پیشوندها ارائه نشده است. در تلاشی که در آزمایشگاه فناوری وب انجام شده است، سعی شده تا بر اساس آنالیزهای آماری و داده کاوی پسوندها حذف گردند، که این روش هم می تواند راهی برای تشخیص ریشه باشد.

معروفترین الگوریتم ریشه یابی در انگلیسی porter می باشد.

Similarity recognition: ابزاری برای تشخیص میزان شباهت میان دو عبارت بر اساس پارامترهای مختلف مانند نوع اسامی مشابه به کار رفته، استفاده از word-net و… . در این ابزار پس از تشخیص نوع کلمات به کار رفته در یک جمله و سپس بر اساس جایگاه آن کلمات در جمله، کلماتی که در جایگاه های یکسان قرار دارند، مورد مقایسه قرار می گیرند. از نمونه های انگلیسی آن می توان به Illinois NESim و Illinois WNSim اشاره نمود.

Chunker: ابزاری برای تشخیص گروه های اسمی، فعلی و …. در یک جمله. جهت تقویت الگوریتم های وابسته به SRL لازم است نه تنها نقش های کلمات مشخص گردند، بلکه باید وابستگی های کلمات به لحاظ نقشی در جمله مشخص گردند. از جمله نمونه های انگلیسی آن می توان به Illinois Chunker  اشاره کرد.

Semantic role labeler: ابزاری برای تشخیص نقش گرامری کلمه در جمله. این ابزار یکی از مهمترین نقش ها را در پردازش های زبانی بر عهده دارد. دقت در این ابزار بسیار حائز اهمیت است. این ابزار باید نقش های گرامری کلمات در جمله ها مانند فعل، فاعل، مفعول مستقیم، مفعول غیر مستقیم و …. را تشخیص دهد. از جمله نمونه های انگلیسی آن می توان به OpenNlP، Illinois SRL، Swirl و LTHSRL  اشاره کرد. این ابزارها از الگوریتم پارسینگ charniak استفاده می کنند.

Annotator: ابزاری برای ایجاد یک نمونه از یک آنتولوژی در یک سند داده شده. از ابزارهای موجود در انگلیسی می توان به Illinois Curator و Stanford Annotator اشاره کرد.

Coreference resolution: ابزاری برای تعیین مرجع اسمی یک اسم یا یک ضمیر در جملات. این ابزار در زبان انگلیسی معادل ابزاری است که مرجع ضمیر را که به صورت اسم در جمله های قبلی آمده است، مشخص می کند. استفاده از ضمایر به جای اسامی در زبان انگلیسی بسیر رایج می باشد. اما در زبان فارسی این امر چندان رایج نیست. اما در زبان فارسی عنوان یک مفهوم اسمی با اصطلاحات مختلف بسیار رایج می باشد. عملاً ما به دنبال ابزاری هستیم که مرجع خاص یک سری از عنوان ها ی مختلف اسمی را مشخص کند. از نمونه های انگلیسی این ابزار می توان به Illinois Coreference package  اشاره کرد.

Pos tagger: ابزاری برای مشخص کردن نوع کلمات از قبیل اسم، صفت، قید، فعل و … . یکی از روش های کاری برای ایجاد این ابزار، ایجاد یک rule base که معمولاً به صورت دستی تشکلیل می شود، برای تشخیص نوع کلمه است. از نونه های فارسی آن می توان به ابزار آزمایشگاه آقای دکتر بیجن خان، و ابزار آزمایشگاه فناوری وب دانشگاه فردوسی مشهد اشاره کرد. از نمونه های انگلیسی آن می توان به Illinois Part Of Speech Tagger و Stanford POS Tagger اشاره کرد.

————————————————————————-

نرمالسازی متن

در ابتدا بایستی همه‌ی نویسه‌های (کاراکترهای) متن با جایگزینی با معادل استاندارد آن، یکسان‌سازی گردند. در اولین گام باید متون برای استفاده در گام‌های بعدی به شکلی استاندارد درآیند. از آنجایی که متون مختلف ممکن است بسیار به هم شبیه باشند اما به دلیل تفاوت‌های ساده ظاهری از نظر ماشین متفاوت باشند؛ به همین دلیل سعی شده است این تفاوت­های ساده‌ی ظاهری برطرف گردد. همچنین اصلاحات دیگری نیز به منظور پردازش دقیق­تر متون در این مرحله صورت می­گیرد.

در اولین گام باید متون برای استفاده در گام­های بعدی به شکلی استاندارد درآیند. از آنجایی که متون مختلف ممکن است بسیار به هم شبیه باشند اما به دلیل تفاوت‌های ساده ظاهری از نظرماشین متفاوت باشند؛ به همین دلیل سعی شده است این تفاوت‌های ساده­ی ظاهری برطرف گردد. برای رسیدن به این هدف، قبل از مقایسه متون، پیش‌پردازش‌هایی روی آنها آنجام می‌شود. طبیعتا هر چه این پیش‌پردازش‌ها قوی‌تر باشد، نتایج حاصل ازمقایسه متون قابل اطمینان­تر خواهد بود. لازم به ذکر است که از آن جایی که زبان فارسی جزو زبان‌های غیر ساختیافته است با مشکلات بسیار بیشتری نسبت به سایر زبان‌ها مواجه خواهیم شد. متون غیرساخت‌یافته، متونی هستند که پیش فرض خاصی در مورد قالب آنها نداریم و آنها را به صورت مجموعه‌ای مرتب از جملات در نظر می‌گیریم.

در ابتدا بایستی همه­ی نویسه‌های (کاراکترهای) متن با جایگزینی با معادل استاندارد آن یکسان­سازی گردند. در پردازش رسم الخط زبان فارسی، با توجه به قرابتی که با رسم الخط عربی دارد، همواره در تعدادی از حرف­ها مشکل وجود دارد که از جمله آن­ها می­توان به حروف “ک”، “ی”، همزه و … اشاره نمود. در اولین گام باید مشکلات مربوط به این حروف را برطرف ساخت. علاوه بر این، اصلاح و یکسان سازی نویسه‌ی نیم‌فاصله و فاصله در کاربردهای مختلف آن و همچنین حذف نویسه­ی «ـ» که برای کشش نویسه­های چسبان مورد استفاده قرار می­گیرد و مواردی مشابه برای یکسان­سازی متون، از اقدامات لازم قبل از شروع فاز‌های مختلف می­باشد. در این فاز مطابق با یک سری قاعده دقیق و مشخص، فاصله­ها و نیم­فاصله­های موجود در متن برای علاماتی نظیر “ها” و “ی” غیرچسبان در انتهای لغات و همچنین پیشوندها و پسوندهای فعل­ساز نظیر “می”، “ام”، “ایم”، “اید” و موارد مشابه جهت استفاده در فازهای بعدی، اصلاح می­گردند. در ادامه به چند نمونه از این اصلاحات، اشاره شده است.

با استفاده از این ویژگی نرم‌افزار می‌توان همه­ی نویسه‌های (کاراکترهای) متن را استاندارد نمود. اگر نویسه‌ی غیر استانداردی یافت شد، با معادل استاندارد آن جایگزین می‌شود. برخی از این اصلاحات در ذیل آورده شده است:

• اصلاح انواع حرف «ک» به معادل فارسی آنان.
• اصلاح انواع حرف «ی» به معادل فارسی آنان.
• بررسی همزه و انواع مختلف املاهای موجود و اصلاح هر کدام (به عنوان مثال تبدیل ؤ به و ، ئ به ی ، أ به ا ، إ به ا و…)
• حذف شناسه‌ی همزه از انتهای واژه‌هایی مثل شهداء
• حذف شناسه «آ» به «ا» مانند: آب به اب
• اصلاح نویسه‌ی «طور» در واژه‌هایی مانند به طور، آن طور، این طور و …
• بررسی وجود حرف «ی» در انتهای لغاتی مانند خانه‌ی ما و اصلاح آنان
• حذف تشدید از واژه‌ها
• تبدیل ارقام عربی و انگلیسی به معادل فارسی.
• اصلاح نویسه‌ی نیم‌فاصله
• اصلاح اعراب و حذف فتحه، کسره و ضمه و همچنین تنوین‌ها
• حذف نیم‌فاصله‌های تکراری
• حذف نویسه‌ی «ـ» که برای کشش نویسه­های چسبان مورد استفاده قرار می­گیرد. مانند تبدیل«بــــــــر» و «بـــر» به «بر»
• چسباندن پسوندهای «تر»، «ترین» و … به آخر واژه‌ها
• اصلاح فاصله‌گذاری «ها» در انتهای واژه‌ها و همچنین پسوندهای «های»، «هایی»، «هایم»، «هایت»، «هایش» و …
• اصلاح فاصله‌گذاری «می»، «نمی»، «درمی»، «برمی»، «بی» در ابتدای واژه‌ها
• تبدیل «‍ة» به «‍ه‌ی»
• تبدیل «ب» متصل به ابتدای واژه‌ها به «به»
• اصلاح فاصله‌گذاری پسوندها
• حذف فاصله‌ها و نیم‌فاصله‌های اضافه بکار رفته در متن
• تصحیح فاصله‌گذاری در مورد علائم سجاوندی بدین صورت که علائم سجاوندی به لغات قبل از خود می‌چسبند و با لغت بعد از خود فاصله خواهند داشت.

برای اعمال اصلاحات اولیه قبل از هر عملیاتی، بایستی متون مورد پردازش توسط ابزار Normalizer طراحی شده، مورد اصلاح قرار گیرند.

——————————————————————–

ریشه‌یابی معنایی در زبان فارسی

هدف از انجام  پروژه ریشه یابی معنایی در زبان فارسی، جداسازی کلمات از متن و بازگرداندن کلمات به ریشه اصلی تشکیل دهنده آنهاست. تفاوت اصلی این پروژه با سایر پژوهش‌های انجام شده در زمینه ریشه‌یابی، قابلیت بازگرداندن کلمات به ریشه بدون از بین رفتن معنای آنها در جمله می‌باشد. بدین منظور به نقش کلمات در جمله توجه ویژه‌ای شده است. در این طرح از مجموعه افعال گرداوری شده توسط گروه دادگان و لغات پرکاربرد پیکره همشهری استفاده شده است.

 ——————————————————————– 

برچسب گذار نقش کلمات فارسی

برچسب گذاری اجزای واژگانی کلام (Part of Speech tagging) عمل انتساب برچسب های واژگانی به کلمات و نشانه های تشکیل دهنده یک متن است؛ به صورتی که این برچسب ها نشان دهنده نقش کلمات و نشانه ها در جمله باشد. درصد بالایی از کلمات از نقطه نظر برچسب واژگانی دارای ابهام هستند، زیرا کلمات در جایگاههای مختلف برچسب های واژگنی متفاوتی دارند. بنابراین برچسب گذاری واژگانی عمل ابهام زدایی از برچسب ها با توجه به زمینه (متن) مورد نظر است. برچسب گذاری واژگانی عملی اساسی برای بسیاری از حوزه های دیگر پردازش زبان طبیعی(NLP) از قبیل ترجمه ماشینی، خطایاب و تبدیل متن به گفتار می باشد. تا کنون مدل ها و روش های زیادی برای برچسب گذاری در زبان های مختلف استفاده شده است. بعضی از این روش ها عبارتند از:

•   مدل مخفی مارکوف (Markov Hidden Model)
•   برچسب گذاری مبتنی بر تبدیل یا قانون (Transformation/Rule -based tagger)
•   سیستم های مبتنی بر حافظه (Memory-basedSystem
•   سیستم های ماکزیمم آنتروپی (Maximum Entropy System)

——————————————————————–

پارسر زبان فارسی

به موازات پیشرفت و تحولات نظری در زبان‌شناسی جدید، روش‌های تحلیل متون و دستورات زبان بوسیلهی رایانه نیز تحول یافته است. منظور از گرامر هر زبان، در دست داشتن یک سری دستورات زبانی قابل فهم برای رایانه است که به کمک آنها بتوان اجزای نحوی یک جمله را به طور صحیح تفکیک نمود. تجزیه و تحلیل جمله و شکستن آن به اجزای تشکیل دهنده مانند گروه های اسمی، فعلی، قیدی و غیره توسط ابزاری به نام پارسر صورت می گیرد که نقش اساسی در طراحی و یا افزایش دقت سایر ابزارهای پردازش متن دارد.

پارسر طراحی شده برای زبان فارسی در این پروژه، از ساختار لغات، موقعیت و ترتیب لغات در جمله، حروف یا عبارات قبل و بعد از آنها و نوع لغات، درخت نحوی یا پارسینگ را برای جملات متن تشکیل می دهد. در واقع عملیات پارسینگ با توجه به ریختشناسی (مطالعه ساختار و حالتهای مختلف یک کلمه) و همچنین دستورات نحوی گرامر زبان فارسی صورت میگیرد. بدیهی است هر چقدر نگارش بکار رفته در جملات و همچنین رعایت علائم سجاوندی طبق اصول و با دقت بیشتری صورت گرفته باشد، عملیات پارسینگ با کیفیت بهتری صورت خواهد گرفت و اجزای تشکیل دهنده ی جمله با عملیات کمتر و ساده تری برچسب زده خواهند شد.

یک فایل فشرده حاوی  فایل EXE (شامل ابزارهای پیش پردازش متون زبان فارسی : نرمالسازی – ریشه یابی – برچسب زنی نحوی – پارسر )

کد سی شارپ همراه با کتابخانه های مورد نیاز جهت ریشه یابی کلمات فارسی:

در این نمونه کد، که به زبان سی شارپ نوشته شده است، کتابخانه های لازم برای استفاده از کد ریشه یاب زبان فارسی که در آزمایشگاه فناوری وب دانشگاه فردوسی مشهد تولید شده است، به کد اضافه شده و چگونگی استفاده از این کتابخانه ها در کد مشخص است و در قالب ابزاری جهت دادن ورودی و مشاهده خروجی آماده شده است.

در کد موجود در فایل ضمیمه سه کتابخانه (فایل dll) اضافه شده اند که امکان شناسایی افعال و ریشه یابی کلمات را فراهم می آورند…

برای استفاده از نرم افزار در صورت اجرا نشدم برنامه در فایل EXE، ابتدا بسته نرم افزاری دات نت فریمورک ۴.۵ را نصب نمایید.

دانلود مقاله داده کاوی

اختصاصی از یارا فایل دانلود مقاله داده کاوی دانلود با لینک مستقیم و پرسرعت .

1. 1 مقدمه :

درطول دهه گذشته باپیشرفت روزافزون کاربرد پایگاه داده ها،حجم داده های ثبت شده به طور متوسط هر5سال 2برابرمی شود. دراین میان سازمان هایی موفقند که بتوانند حداقل 7٪داده هایشان راتحلیل کنند. تحقیقات انجام یافته نشان داده است که سازمانها کمترازیک درصد داده هایشان رابرای تحلیل استفاده می کنند.

به عبارت دیگردرحالی که غرق درداده ها هستند تشنه دانش می باشند.

بنابراعلام دانشگاه MIT دانش نوین داده کاوی (Data mining) یکی ازده دانش درحال توسعه ای است که دهه آینده راباانقلاب تکنولوژی مواجه می سازد.این تکنولوژی امروزه دارای کاربرد بسیاروسیعی درحوزه های مختلف است به گونه ای که امروزه حدومرزی برای کاربرد این دانش درنظرنگرفته وزمینه های کاری این دانش راازذرات کف اقیانوس ها تااعماق فضامی دانند.

امروزه بیشترین کاربرد داده کاوی دربانکها، مراکزصنعتی وکارخانجات بزرگ، مراکزدرمانی وبیمارستانها ،مراکز تحقیقاتی ،بازاریابی هوشمند وبسیاری ازموارددیگرمی باشد.

داده کاوی پل ارتباطی میان علم وآمار،علم کامپیوتر، هوش مصنوعی ،الگو شناسی،فراگیری ماشین وبازنمایی بصری داده می باشد.داده کاوی فرآیندی پیچیده جهت شناسایی الگوها ومدل های صحیح، جدید وبه صورت بالقوه مفید، درحجم وسیعی ازداده می باشد، به طریقی که این الگوها ومدلها برای انسانها قابل درک باشد.داده کاوی به صورت یک محصول قابل خریداری نمی باشد،بلکه یک رشته علمی وفرآیندی است که بایستی به صورت یک پروژه پیاده سازی شود.

کاوش داده ها به معنی کنکاش داده های موجود درپایگاه داده وانجام تحلیل های مختلف برروی آن به منظوراستخراج اطلاعات می باشد.

داده کاوی فرآیندی تحلیلی است که برای کاوش داده ها( معمولاً حجم عظیمی ازداده ها) صورت می گیرد ویافته هابا به کارگیری الگوهایی ،احرازاعتبارمی شوند.هدف اصلی داده کاوی پیش بینی است.وبه صورت دقیق ترمی توان گفت:

" کاوش داده ها شناسایی الگوهای صحیح ،بدیع، سودمند وقابل درک ازداده های موجود دریک پایگاه داده است که بااستفاده ازپردازش های معمول قابل دستیابی نیستند."

    فصل 1 مقدمه    9
1.1    مقدمه    10
    فصل 2 مفاهیم داده کاوی    12
2.1    فرایند داده کاوی    13
2.2    دو مفهوم اساسی در داده کاوی    14
2.3    اساس داده کاوی    15
2.4 عوامل ایجاد داده کاوی    16
2.5    زیر بنای داده کاوی    16
2.6    عناصر داده کاوی    17
2.7    مراحل داده کاوی    18
2.8    وظایف داده کاوی    21
2.9    فنون داده کاوی    22
2.10    معماری داده کاوی    25
2.11    تکنیک های مختلف داده کاوی    26
    فصل 3 کاربرد های داده کاوی    28
3.1    معرفی    29
3.2    کاربرد داده کاوی در کتابخانه ها و محیط های دانشگاهی    30
3.3    کاربرد داده کاوی در فعالیت شرکت ها    32
3.4    کاربرد داده کاوی در مدیریت و کشف فریب    32
3.5    کاربرد داده کاوی در صنعت خورده فروشی    33
3.6    داده کاوی در مدیریت ارتباط با مشتری    33
3.7    کاربرد داده کاوی در پزشکی    35
3.8    وب کاوی    35
3.9    تصویر کاوی    

ششامل 42 صفحه فایل word

دانلود پایان نامه تکنیکهای داده کاوی و متدلوژی آن

اختصاصی از یارا فایل دانلود پایان نامه تکنیکهای داده کاوی و متدلوژی آن دانلود با لینک مستقیم و پرسرعت .

مقدمه

از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT) هر دو سال یکبار حجم داده ها، دو برابر شده و همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه داده ها چنان گسترش یافته‌اند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند.امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه های موجود است.[3]

حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث به وجود آمدن انبارهای عظیمی از داده ها شده است.

این واقعیت، ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است، چنان که در عصر حاضر گفته می شود اطلاعات طلاست.

هم اکنون در هر کشور، سازمان، شرکت و غیره برای امور بازرگانی، پرسنلی، آموزشی، آماری و غیره پایگاه داده ها ایجاد یا خریداری شده است. به طوری که این پایگاه داده ها برای مدیران، برنامه ریزان، پژوهشگران جهت، تصمیم گیری های راهبردی، تهیه گزارش های مختلف، توصیف وضعیت جاری خود و سایر اهداف می تواند مفید باشد. بسیاری از این داده ها از نرم افزارهای تجاری، مثل کاربردهای مالی، ERPها، CRMها و web log ها، می آیند. نتیجه این جمع آوری داده ها این می‌شود که در سازمانها، داده ها غنی ولی دانش ضعیف، است. جمع آوری داده ها، بسیار انبوه می‌شود و بسرعت اندازه آن افزایش می یابد و استفاده عملی از داده ها را محدود می سازد.[2]

داده‌کاوی استخراج و تحلیل مقدار زیادی داده بمنظور کشف قوانین و الگوهای معنی دار در آنهاست. هدف اصلی داده کاوی، استخراج الگوهایی از داده ها، افزایش ارزش اصلی آنها و انتقال داده ها بصورت دانش است.

داده‌کاوی، بهمراه OLAP، گزارشگری تشکیلات اقتصادی(Enterprise reporting) و ETL، یک عضو کلیدی در خانواده محصول Business Intelligence(BI)، است.[2]

حوزه‌های مختلفی وجود دارد که در آنها حجم بسیاری از داده در پایگاه‌داده‌های متمرکز یا توزیع شده ذخیره می‌شود. برخی از آنها به قرار زیر هستند: [6]

• کتابخانه دیجیتال: یک مجموعه سازماندهی شده از اطلاعات دیجیتال که بصورت متن در پایگاه‌داده‌های بزرگی ذخیره می شوند.
• آرشیو تصویر: شامل پایگاه‌داده بزرگی از تصاویر به شکل خام یا فشرده.
• اطلاعات زیستی: بدن هر انسانی از 50 تا 100 هزار نوع ژن یا پروتئین مختلف ساخته شده است. اطلاعات زیستی شامل تحلیل و تفسیر این حجم عظیم داده ذخیره شده در پایگاه‌داده بزرگی از ژنهاست.
• تصاویر پزشکی: روزانه حجم وسیعی از داده‌های پزشکی به شکل تصاویر دیجیتال تولید می‌شوند، مانند EKG، MRI، ACT، SCAN و غیره. اینها در پایگاه‌داده‌های بزرگی در سیستم‌های مدیریت پزشکی ذخیره می شوند.
• مراقبت‌های پزشکی: بجز اطلاعات بالا، یکسری اطلاعات پزشکی دیگری نیز روزانه ذخیره می‌شود مانند سوابق پزشکی بیماران، اطلاعات بیمه درمانی، اطلاعات بیماران خاص و غیره.
• اطلاعات مالی و سرمایه‌گذاری: این اطلاعات دامنه بزرگی از داده‌ها هستند که برای داده‌کاوی بسیار مطلوب می‌باشند. از این قبیل داده‌ها می‌توان از داده‌های مربوط به سهام، امور بانکی، اطلاعات وام‌ها، کارت‌های اعتباری، اطلاعات کارت‌های ATM، و کشف کلاه‌برداری‌ها می باشد.
• ساخت و تولید: حجم زیادی از این داده‌ها روزانه به اشکال مختلفی در کارخانه‌ها تولید می‌شود. ذخیره و دسترسی کارا به این داده‌ها و تحلیل آنها برای صنعت تولید بسیار بااهمیت است.
• کسب و کار و بازاریابی: داده‌ لازم است برای پیش‌بینی فروش، طراحی کسب و کار، رفتار بازرایابی، و غیره.
• شبکه راه‌دور: انواع مختلفی از داده‌ها در این صنعت تولید و ذخیره می شوند. آنها برای تحلیل الگوهای مکالمات، دنبال کردن تماس‌ها، مدیریت شبکه، کنترل تراکم، کنترل خطا و غیره، استفاده می‌شوند.
• حوزه علوم: این حوزه شامل مشاهدات نجومی، داده زیستی، داده ژنومیک، و غیره است.
• WWW: یک حجم وسیع از انواع مختلف داده که در هر جایی از اینترنت پخش شده‌اند.

در بیشتر این حوزه‌ها، تحلیل داده‌ها یک روال دستی بود. یک تحلیلگر کسی بود که با داده‌ها بسیار آشنا بود و با کمک روش‌های آماری، خلاصه‌هایی تهیه و گزارشاتی را تولید می‌کرد. در یک حالت پیشرفته‌تر، از یک پردازنده پیچیده پرسش استفاده می‌شد. اما این روش‌ها با افزایش حجم داده‌ها کاملا بلااستفاده شدند.

مقدمه    4
عناصر داده کاوی    10
پردازش تحلیلی پیوسته:    11
قوانین وابستگی:    12
شبکه های عصبی :    12
الگوریتم ژنتیکی:    12
نرم افزار    13
کاربردهای داده کاوی    13
داده کاوی  و کاربرد آن در کسب و کار هوشمند بانک    15
داده کاوی درمدیریت ارتباط بامشتری    16
کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی    17
مدیریت موسسات دانشگاهی    19
داده کاوی آماری و مدیریت بهینه وب سایت ها    21
داده کاوی در مقابل پایگاه داده   Data Mining vs database    22
ابزارهای تجاری داده کاوی    23
منابع اطلاعاتی مورد استفاده    24
انبار داده    24
مسائل کسب و کار برای دادهکاوی    26
چرخه تعالی داده کاوی چیست؟    27
متدلوژی داده‌کاوی و بهترین تمرینهای آن    31
یادگیری چیزهایی که درست نیستند    32
الگوهایی که ممکن است هیچ قانون اصولی را ارائه نکنند    33
چیدمان مدل ممکن است بازتاب دهنده جمعیت وابسته نباشد    34
ممکن است داده در سطح اشتباهی از جزئیات باشد    35
یادگیری چیزهایی که درست ولی بلااستفادهاند    37
مدل‌ها، پروفایلسازی، و پیش‌بینی    38
پیش بینی    41
متدلوژی    42
مرحله 1: تبدیل مسئله کسب و کار به مسئله داده‌کاوی    43
مرحله 2: انتخاب داده مناسب    45
مرحله سوم: پیش به سوی شناخت داده    48
مرحله چهارم: ساختن یک مجموعه مدل    49
مرحله پنجم: تثبیت مسئله با داده‌ها    52
مرحله ششم: تبدیل داده برای آوردن اطلاعات به سطح    54
مرحله هفتم: ساختن مدلها    56
مرحله هشتم: ارزیابی مدل ها    57
مرحله نهم: استقرار مدل ها    61
مرحله 10: ارزیابی نتایج    61
مرحله یازدهم: شروع دوباره    61
وظایف دادهکاوی    62
1- دستهبندی    62
2- خوشه‌بندی    62
3- تخمین    63
4- وابستگی    65
5- رگرسیون    66
6- پیشگویی    67
7- تحلیل توالی    67
8- تحلیل انحراف    68
9- نمایه‌سازی    69
منابع    70