بهبود مدل کاربر در وب­سایت بصورت خودکار با استفاده از معناشناسی با مفاهیم خاص دامنه

اختصاصی از یارا فایل بهبود مدل کاربر در وب­سایت بصورت خودکار با استفاده از معناشناسی با مفاهیم خاص دامنه دانلود با لینک مستقیم و پرسرعت .

دانشگاه صنعتی امیرکبیر

دانشکده مهندسی کامپیوتر و فناوری اطلاعات

پایان­­نامه کارشناسی ارشد رشته مهندسی کامپیوتر گرایش نرم­افزار

بهبود مدل کاربر در وب­سایت بصورت خودکار با استفاده از معناشناسی با مفاهیم خاص دامنه

155 صفحه در قالب word

چکیده

گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار می­رود. برای مقابله با این مشکل، سیستم­های شخصی­سازی وب ارائه شده­اند که محتوا و سرویس­های یک وب­سایت را با افراد براساس علایق و رفتار گردشی آن­ها سازگار می­کنند. یک مولفه­ی اساسی در هر سیستم شخصی­سازی وب، مدل کاربر آن است. محتوای صفحات یک وب­سایت را می­توان به منظور ایجاد مدل دقیق­تری از کاربر مورد استفاده قرار داد، اما رویکردهای مبتنی بر کلمات کلیدی نگرش عمیقی از وب­سایت ندارند. اخیرا تحقیقاتی برای ترکیب کردن معنای موجود در وب­سایت در نمایش کاربران آن انجام شده است. تمامی این تلاش­ها یا از یک رده­بندی یا واژگان شناختی خاص و دست ساخته و یا از واژگان­شناختی­های عمومی مانند WordNet برای نگاشت مشاهده صفحات به عناصر معنایی استفاده می­کنند. با این وجود ساختن یک سلسله مراتب از مفاهیم بصورت دستی زمان­بر و هزینه­بر است. از سوی دیگر منابع معنایی لغوی عمومی از پوشش کم عبارات خاص دامنه رنج می­برند. در این پایان نامه ما قصد داریم که هر دوی این نقص­ها را برطرف کنیم. دستاورد اصلی ما این است که مکانیسمی برای بهبود نمایش کاربر در وب­سایت بصورت خودکار و با استفاده از یک منبع معنایی لغوی جامع معرفی می­کنیم. ما از Wikipedia، بزرگ­ترین دایره­المعارف امروزی به عنوان یک منبع غنی معنایی برای بهبود ساخت خودکار مدل برداری از علایق کاربر بهره­برداری می­کنیم. معماری ارائه شده شامل تعدادی مولفه است که عبارتند از: پیش پردازش اولیه، استخراج مفاهیم دامنه­ی وب سایت، استخراج کلمات کلیدی از وب­سایت، سازنده­ی بردار کلمات کلیدی و نگاشت کلمات کلیدی به مفاهیم. دستاورد مهم دیگر استفاده از ساختار وب سایت برای محدود کردن خودکار مفاهیم خاص دامنه می­باشد. سرانجام، آخرین دستاورد آن یک روش جدید نگاشت کلمات کلیدی به مفاهیم است. ارزیابی های ما نشان می­دهد که روش پیشنهادی همراه با منبع معنایی لغوی جامع آن کاربران را بصورت موثرتری نسبت به روش کلمات کلیدی و نیز روش­های بر مبنای WordNet نمایندگی می­کند.

کلمات کلیدی: مدلسازی کاربر، کاوش Wikipedia، تکنیک­های معنایی ، شخصی­سازی وب

فهرست

1- مقدمه 9

مقدمه 13

1-1- دلایل نیاز به شخصی سازی وب.. 13

1-1-1- گرانبار شدن اطلاعات.. 13

1-1-2- نیاز به جذب مشتری پابرجای برای وب سایت.. 14

1-2- تعریف شخصی سازی وب.. 14

1-3- فواید سیستم شخصی سازی وب.. 14

1-4- تفاوت شخصی سازی وب با تطبیق طرح کلی سایت.. 15

1-5- طبقه بندی عملکردهای اصلی شخصی سازی وب.. 15

1-6- نیازمندیهای اصلی سیستم شخصی سازی وب.. 16

1-7- رویکرد های موجود در شخصی سازی وب.. 17

1-8- نقش وب کاوی کاربرد وب در شخصی سازی وب.. 18

1-9- نیاز به استفاده از محتوا در شخصی سازی وب.. 19

1-10- نیاز به استفاده از معنا در شخصی سازی وب.. 19

1-11- هدف پروژه 21

1-12- نحوه ی گردآوری مراجع. 21

1-13- رویکرد بکار رفته در تحقیق. 21

1-14- ساختار پایان نامه 22

مراجع. 22

2- مطالب پیش زمینه 25

مقدمه 25

2-1- شخصی سازی وب براساس وب کاوی کاربرد وب.. 25

2-1-1- آماده سازی و مدلسازی داده 28

2-1-1-1- منابع و انواع داده 29

2-1-1-1-1- داده های کاربرد 29

2-1-1-1-1-1- فرمت های ثبت.. 30

2-1-1-1-1-2- منابع داده های کاربرد 32

2-1-1-1-2- داده های محتوا 36

2-1-1-1-3- داده های ساختار 37

2-1-1-1-4- داده های کاربران. 37

2-1-1-2- آماده سازی و پیش پردازش داده ها 38

2-1-1-2-1- پاکسازی داده ها 38

2-1-1-2-2- شناسایی کاربر. 40

2-1-1-2-3- تشخیص مشاهده صفحه 41

2-1-1-2-4- تشخیص جلسه ی کاربر. 42

2-1-1-2-5- تکمیل مسیر. 43

2-1-1-2-6- تشخیص تراکنش... 44

2-1-1-2-7- پیش پردازش نهایی داده های کاربرد 46

2-1-1-2-8- یکپارچه سازی داده ها از منابع گوناگون. 47

2-1-2- کشف الگو از داده های کاربرد وب.. 48

2-1-2-1- سطوح و انواع تحلیل. 48

2-1-2-2- وظایف داده کاوی بر روی داده های کاربرد وب.. 49

2-1-2-2-1- کاوش قواعد انجمنی. 50

2-1-2-2-2- کشف الگوهای ترتیبی. 52

2-1-2-2-3- خوشه بندی. 57

2-1-3- استفاده از الگوهای کشف شده جهت شخصی سازی وب.. 61

2-1-4- زمینه های تحقیقاتی شخصی سازی وب.. 61

2-2- منابع معنایی لغوی. 63

2-2-1- فرهنگ لغت.. 63

2-2-2- فرهنگ های جامع. 63

2-2-3- واژگان شناختی و رده بندی. 64

2-2-3-2- رده بندی. 67

2-2-3-3- واژگان شناختی ها و رده بندی های موجود 67

2-2-3-3-1- واژگان شناختی های مربوط به یک دامنه ی خاص... 68

2-2-3-3-2- واژگان شناختی های عمومی. 68

2-2-3-3-2-1- CYC و OpenCYC.. 68

2-2-3-3-2-2- WordNet 68

2-2-3-3-2-3- دایرکتوری های وب.. 70

2-2-3-4- زبان های نمایش واژگان شناختی. 71

2-2-4- فرهنگ های عمومی. 72

2-2-4-1- Wikipedia. 72

2-2-4-1-1- نقاط ضعف و قوت Wikipedia. 74

2-2-4-1-2- ساختار Wikipedia. 75

2-2-4-1-3- انواع اطلاعات معنایی لغوی در Wikipedia. 76

2-2-5- نتیجه گیری. 78

مراجع. 80

3- کارهای انجام شده در زمینه مدلسازی کاربر در شخصی سازی وب با استفاده از محتوای وب.. 85

مقدمه 85

3-1- تکنیک های مورد استفاده 86

3-1-1- تکنیک tf-idf 86

3-1-2- تکنیک تحلیل معنایی پنهان. 86

3-1-3- تکنیک های مربوط به محاسبه ی ارتباط معنایی دو کلمه 87

3-1-3-1- معیارهای ارتباط معنایی مهم در ساختارهای سلسله مراتبی. 87

3-1-3-1-1- رویکردهای مبتنی بر مسیر. 88

3-1-3-1-2- رویکردهای مبتنی بر محتوای اطلاعات.. 88

3-1-3-1-3- رویکردهای مبتنی بر همپوشانی متن. 89

3-1-3-2- رویکردهای محاسبه ی ارتباط معنایی دو کلمه برای روابط غیر رابطه ی هست.. 89

3-1-3-3- کارهای انجام شده در مورد محاسبه ی ارتباط معنایی دو کلمه در Wikipedia. 90

3-2- رویکردهای انجام شده در زمینه ی مدلسازی کاربر در وب سایت با استفاده از محتوای صفحات   91

3-2-1- رویکردهای بر مبنای کلمات کلیدی. 92

3-2-2- رویکردهای معنایی. 92

3-2-2-1- روش های آماری. 93

3-2-2-2- روش های مبتنی بر سلسله مراتب.. 94

جمع بندی. 100

مراجع. 101

4- روش پیشنهادی. 106

مقدمه 106

4-1- تعریف مساله 106

4-2- طراحی روش جدید. 106

4-2-1- مولفه ی پیش پردازش اولیه ی ثبت.. 107

4-2-2- مولفه ی استخراج کلمات کلیدی از صفحات وب سایت.. 107

4-2-3- مولفه ی استخراج مفاهیم دامنه از وب سایت.. 111

4-2-4- مولفه ی سازنده ی بردار کلمات کلیدی. 113

4-2-5- مولفه ی نگاشت.. 115

4-6- دیاگرام های UML قسمت های اصلی سیستم. 117

4-7- بررسی تطابق طرح پیشنهادی با صورت مساله 117

جمع بندی. 119

مراجع. 119

5- جزئیات پیاده سازی. 121

مقدمه 121

5-1- مولفه ی پیش پردازش اولیه ی ثبت.. 121

5-1-2- نحوه ی دریافت ثبت وب سرور 121

5-2- مولفه ی استخراج کلمات کلیدی از صفحات وب سایت.. 123

5-3- مولفه ی استخراج مفاهیم دامنه از وب سایت.. 125

5-4- مولفه ی سازنده ی بردار کلمات کلیدی. 125

5-5- مولفه ی نگاشت.. 125

5-6- پیاده سازی آزمایشات.. 125

جمع بندی. 126

مراجع. 126

6- ارزیابی روش پیشنهادی. 129

مقدمه 129

6-1- مجموعه داده ها 129

6-2- پارامترهای ارزیابی. 130

6-3- بررسی درستی مولفه های سیستم. 131

6-4- آزمایشات انجام شده 131

6-4-1- سخت افزار مورد استفاده 132

6-4-2- نتایج آزمایشات.. 132

6-4-3- تحلیل نتایج آزمایشات.. 132

جمع بندی. 133

مراجع. 133

7- نتیجه گیری و کارهای آینده 136

مقدمه 136

7-1- نتایج حاصل از پروژه 136

7-2- دستاوردهای پروژه 136

7-3- کارهای آینده 137

مراجع. 139

واژه نامه 145

1- مقدمه

در این فصل دلیل پرداختن به موضوع پروژه و صورت مساله آن مورد بررسی قرار می­گیرد. برای این منظور ابتدا مقدماتی در رابطه با شخصی­سازی وب، دلیل مطرح شدن آن، مولفه های اصلی و مشکلات آن به اختصار مطالبی ارائه می­شود. در این میان به لزوم استفاده از معنا در فرآیند شخصی­سازی وب اشاره شده و مدل کاربر به عنوان یک مولفه از سیستم شخصی­سازی وب به منظور بهبود با استفاده از معنا مورد انتخاب قرار می­گیرد. سپس مساله­ای که پایان نامه سعی در حل آن دارد مطرح می­گردد. در انتها رویکرد بکار رفته در تحقیق و ساختار پایان نامه ارائه می­شود.

1-1- دلایل نیاز به شخصی­سازی وب 1-1-1- گرانبار شدن اطلاعات

وب جهانی منبعی عظیم از اطلاعات را فراهم آورده است. در بررسی­های گوناگون انجام شده در زمینه­ی گسترش وب تخمین زده شده است که روزانه بیش از یک میلیون صفحه به وب اضافه می­شود و بیش از 600 گیگابایت از صفحات در هر ماه تغییر می­کنند[Nasraoui 2008] و[Achananuparp 2007] . این پدیده که گرانبار شدن اطلاعات نامیده می­شود مشکلاتی را برای کاربران وب بوجود آورده است.

از مهم­ترین این مشکلات عدم دسترسی آسان به اطلاعات مورد نیاز می­باشد. در این انباره­ی عظیم کاربران در یافتن اطلاعات مورد نیاز خود در زمان مناسب و بصورت آسان دچار مشکل هستند زیرا از یک سو باید میزان ربط هر صفحه را با نیاز خود بررسی کنند و از سوی دیگر باید صفحات را از نظر میزان قابلیت اعتماد ارزیابی کنند.

برای رفع این مشکل در دهه­های اخیر سیستم­های بازیابی اطلاعات و به تبع آن موتورهای جستجو ایجاد شدند که محتوای صفحات وب را اندیس­گذاری می­کنند و صفحات مرتبط با پرسش کاربر را برمی­گردانند اما این تکنولوژی­ها دو مشکل دارند:

• حجم اطلاعاتی که موتورهای جستجو به کاربر تحویل می­دهند بسیار بیشتر از آن است که قابل پردازش توسط کاربر باشد.
• بیشتر موتورهای جستجوی معروف موجود در وب تنها از محتوای صفحات و ساختار ارتباطی موجود بین آن­ها برای ارزیابی میزان ربط صفحات با پرسش کاربر استفاده می­کنند. از این رو برایشان اهمیت ندارد که پرسش توسط چه کسی و با چه علایق و دانش پیش­زمینه­ای وارد شده است. نتیجه آنکه صفحات بازیابی شده برای دو کاربر با علایق متفاوت و با پرسش یکسان مجموعه­ی یکسانی از صفحات وب می­باشد.

1-1-2- نیاز به جذب مشتری پا­بر­جای برای وب­سایت

ظهور سرویس­های مبتنی بر وب مانند تجارت الکترونیکی، یادگیری تحت وب و بانکداری الکترونیکی موجب تغییرات اساسی در روش استفاده از اینترنت شده است و وب­سایت ها را به محیطی برای تجارت تبدیل کرده است و موجب افزایش رقابت بین آن­ها شده است. با وجود رقبایی که تنها یک کلیک از وب­سایت مورد نظر فاصله دارند نیاز به افزودن خدمات اضافی به سرویس­های وب به عنوان لازمه­ی ایجاد مشتری پابرجای به وضوح احساس می­شود. این خدمات اضافی تنها با تمرکز بر نیازها و علایق فردی مشتریان و فراهم کردن سرویس­ها و محصولات متناسب با آن­ها امکان­پذیر است.

1-2- تعریف شخصی­سازی وب

هر اقدامی که اطلاعات یا سرویس­های فراهم شده توسط یک وب­سایت را با نیازهای یک کاربر یا گروه خاصی از کاربران با بکارگیری دانش بدست آمده از رفتار گردشی کاربر و علایق خاص او بصورت ترکیب با محتوا و ساختار وب­سایت سازگار می­کند شخصی­سازی وب نامیده می­شود. [Eirinaki 2003 a]

هدف یک سیستم شخصی­سازی وب عبارت است از فراهم کردن اطلاعات دلخواه یا مورد نیاز کاربران بدون درخواست صریح آن­ها.

1-3- فواید سیستم شخصی­سازی وب

• شخصی­سازی سرویس­های ارائه شده توسط یک وب­سایت نقش مهمی در کاهش گرانبار شدن اطلاعات ایفا می­کند و وب­سایت را به یک محیط کاربرپسندتر برای افراد تبدیل می­کند.
• با فراهم کردن اطلاعات دلخواه کاربر به روش مناسب و در زمان مناسب باعث بهبود گردش کاربر در وب­سایت می­شود.
• در تجارت الکترونیکی مکانیسمی برای درک بهتر نیازهای مشتری، شناسایی تمایلات آینده­ی او و در نهایت افزایش پابرجایی مشتری به سرویس ارائه شده فراهم می­کند.

1-4- تفاوت شخصی­سازی وب با تطبیق طرح کلی سایت

در تطبیق طرح کلی وب، کاربر ساختار و نحوه­ی ارائه­ی وب­سایت را براساس ترجیحات خود تنظیم می­کند. هر زمان که کاربر ثبت شده به سایت ورود می­کند صفحه­ی تطبیق داده شده به او ارائه می­شود. نمونه­ای از این سیستم­ها MyYahoo [My Yahoo] می­باشد. این فرایند یا بصورت دستی و یا بصورت نیمه­خودکار انجام می­شود. درحالی که در سیستم­های شخصی­سازی چنین تغییراتی بصورت پویا انجام می­شود.

1-5- طبقه­بندی عملکردهای اصلی شخصی­سازی وب

یک سیستم شخصی­سازی وب می­تواند عملکردهای گوناگونی از یک خوشامدگویی ساده گرفته تا عملکردهای پیچیده­تری مانند تحویل یک محتوای شخصی­سازی شده در اختیار قرار دهد. این عملکردها به چند دسته تقسیم می­شوند[Pierrakos 2003] :

• به­ خاطرسپاری

ساده ترین عملکرد است که در آن سیستم، اطلاعات مربوط به کاربر از قبیل نام و سابقه­ی مرور او را ذخیره می­کند. هنگامی که کاربر به وب­سایت برمی­گردد این اطلاعات بدون هیچ پردازش دیگری مورد استفاده قرار می­گیرند. از جمله­ی این عملکردها عبارتند از:

• خوشامدگویی به کاربر
• نشان کردن صفحات برای کاربر
• حقوق دسترسی شخصی­سازی شده
• راهنمایی

عملیات شخصی­سازی­ای که به منظور کمک­رسانی به کاربر به منظور دریافت سریع اطلاعات مورد نیاز خود در وب­سایت و نیز فراهم کردن مرورهای جایگزین برای او انجام می­شود در این دسته قرار می­گیرند. نمونه هایی از این عملکردها عبارتند از:

• توصیه­ی لینک
• آموزش کاربر

• تطبیق

تغییر محتوا، ساختار و طرح کلی صفحات با در نظرگرفتن دانش، ترجیحات و علایق کاربر. مثال­هایی از این عملکردها عبارتند از:

• طرح کلی شخصی­سازی شده
• تطبیق محتوا
• تطبیق لینک ها
• قیمت­گذاری شخصی­سازی شده
• تمایز شخصی­سازی شده بین محصولات
• پشتیبانی اجرای وظیفه

این طبقه پیشرفته­ترین طبقه از اعمال شخصی­سازی است که شامل اجرای یک عمل خاص از طرف کاربر(و بدون دخالت او) می­باشد. از جمله این عملکردها می­توان به موارد زیر اشاره کرد:

• پیغام­رسانی شخصی­سازی شده
• تکمیل شخصی­سازی شده­ی پرسش
• مذاکره­ی شخصی­سازی شده

1-6- نیازمندی­های اصلی سیستم شخصی­سازی وب

عملکردهای سیستم شخصی­سازی وب نیازمندی­هایی را در طراحی آن مطرح می­کنند. توضیحات مفصل در مورد هر یک در فصل دوم ارائه شده است. این نیازمندی ها عبارتند از:

• مشخصات دامنه

عملکرد ارائه شده توسط سیستم شخصی­سازی حساس به دامنه می­باشد. از این رو مشخصات دامنه باید بصورت دقیق توصیف شود.

• شناسایی کاربر

سیستم شخصی­سازی در تعامل مستقیم با کاربر قرار دارد و از رفتار او کسب اطلاع می­کند. از این رو باید مکانیسم مناسبی جهت شناسایی و تمایز کاربران داشته باشد.

• دریافت کارای داده­های کاربران

سیستم شخصی­سازی باید قادر به جمع­آوری تمامی داده­های مربوط به کاربران باشد. نوع و حجم این داده­ها بستگی به عملکردهای سیستم دارد.

• آماده­سازی داده­ها

داده­های جمع­آوری شده باید پیش­پردازش شوند تا نویز آن­ها حذف شود و نیز به فرمت مناسبی تبدیل شوند.

• ساخت کارای مدل کاربر

مولفه­ی اصلی سیستم شخصی­سازی مدل کاربر می­باشد که شامل اطلاعاتی است که سیستم درباره­ی علایق، دانش، اهداف و ترجیحات کاربر نگهداری می­کند. ساخت مدل می­تواند بصورت دستی یا خودکار انجام شود.

• موضوعات مربوط به خصوصی­بودن

اطلاعات کاربر باید در تمام مدت محفوظ بماند و کاربر باید از نحوه­ی جمع­آوری و استفاده از آن آگاه باشد.

1-7- رویکرد های موجود در شخصی سازی وب

سیستم های موجود در شخصی سازی وب را می­توان در سه رویکرد دسته­بندی کرد [Dai 2005] که در این قسمت به اختصار هر یک را شرح می­دهیم.

• سیستم های بر مبنای قانون تصمیم بصورت دستی

براساس این رویکرد یک سرویس وب از طریق دخالت دستی طراح آن و معمولا با همکاری کاربر شخصی­سازی می­شود. معمولا مدل های کاربر ایستا از طریق یک فرایند ثبت نام بدست می­آیند و تعدادی قانون بصورت دستی در مورد این که محتوای وب چگونه به کاربرهای با مدل های متفاوت تحویل داده شود تعیین می­شود. نمونه­ای از این سیستم ها Websphere Personalization شرکت IBM می­باشد.

این سیستم ها نیاز به حجم قابل توجهی فعالیت بصورت دستی در ساخت و نگهداری نیاز دارند. علاوه بر این معمولا نیاز به همکاری کاربر دارند که امر مطلوبی در شخصی­سازی نمی­باشد.

• سیستم های فیلترکننده بر مبنای محتوا

این سیستم ها از پروفایل کاربران استفاده می­کنند و صفحات یا اقلام جدیدی را براساس شباهت محتوایی آن­ها با صفحات و اقلامی که در پروفایل کاربر موجود است به کاربر توصیه می­کنند. مکانیسم معمول در این سیستم ها معمولا مقایسه­ی کلمات کلیدی نشان­دهنده­ی صفحات یا توصیف اقلام است. نمونه هایی از این سیستم ها عبارتند از Letizia و WebWatcher.

ممکن است هنگام انتقال از فایل ورد به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود ولی در فایل دانلودی همه چیز مرتب و کامل است

متن کامل را می توانید در ادامه دانلود نمائید

چون فقط تکه هایی از متن برای نمونه در این صفحه درج شده است ولی در فایل دانلودی متن کامل همراه با تمام ضمائم (پیوست ها) با فرمت ورد word که قابل ویرایش و کپی کردن می باشند موجود است