مشخصات این فایل
عنوان: روش جدید برای لب‌خوانی با استفاده از پردازش تصویر
فرمت فایل:word (قابل ویرایش)
تعداد صفحات: 13
این مقاله در مورد روش جدید برای لب‌خوانی با استفاده از پردازش تصویر می باشد.
بخشی از تیترها به همراه مختصری از توضیحات مقاله روش جدید برای لب‌خوانی با استفاده از پردازش تصویر
- استخراج کانتورلب
به منظوراستخراج ویژگیهای تصویری مربوط به تولید گفتار،استخراج دقیق شکل لب حیاتی می باشد.استفاده ازرویکردهای مبتنی برلبه برای استخراج لب دارای مشکلات فراوانی می باشد؛ زیرانگاشتهای بدست آمده براساس ویژگی لبه معمولأ دارای نویزواشتباهات فراوانی می باشد. به علاوه لبه هااغلب درمرزلب مفقود بوده یاازنظردامنه خیلی ضعیف هستند.باتوجه به این مشکلات، رویکرد استخراج کانتورلب مابه آشکارسازی لبه هادرلب استناد نکرده است، بلکه هدف ماتقسیم بندی تصاویرلب داده شده به ناحیه لب وغیرلب براساس شدت روشنایی ورنگ پیکسلهامی باشد.دراین روش،فرض نمی شود که لب دارای یک رنگ خاص باشد بلکه جستجو بر اساس تفاوت شدت روشنایی ورنگ بین نواحی لب وغیرلب صورت می گیرد.درادامه درابتدا مدل پیشنهادی باجزئیات شرح داده می شود.سپس تابع هزینه برای پیداکردن بهینه مرزبین ناحیه لب وغیرلب ولگوریتم بهینه سازی پارامترهای مدل توضیح داده می شود....(ادامه دارد)
2-3- نگاشت احتمال تصاویرلب
ارزیابی (P)E نیازبه نگاشت احتمال تصاویرلب دارد که این نگاشت ،احتمال این رامشخص می کند که پیکسل،پیکسل لب هست یانه؟ الگوریتم خوشه بندی فازی]11[ برای ایجاد چنین نگاشت احتمالی استفاده می شود .این یک روش یادگیری بدون سرپرستی می باشد ونه فرض اولیه ای درمورد توضیع ویژگیهادرنظرمی گیرد ونه آموزش مورد نیازمی باشد.الگوریتم تلاش می کند برای هرپیکسل براساس توزیع بردارهای ویژگی هرپیکسل درفضای ویژگی واثرمتقابل هرپیکسل با8 تاازهمسایگی اش، یک مقداراحتمال مناسب برای هرپیکسل مشخص کند....(ادامه دارد)
5-1 الگوریتم پیشنهادی
دراین الگوریتم مبنای مقایسه برای ردیابی علائم درفریم های ویدئویی،مختصات علائم درفریم اولیه یامبنااست.فریم اولیه، فریمی است که درآن حالت چهره ی گوینده حالت عادی تعریف شده دراستاندارد باید باشد .تعیین مختصات علائم دراین فریم به صورت دستی انجام شده وسپس در همسایگی مختصات مربوط به هرعلامت میانگین گیری برای هریک ازنگ های G,R وB انجام می شود.باتوجه به RGB به دست آمده برای هرعلامت بازه ای مشخص می کنیم تابا استفاده ازآن درفریم های بعدی بتوانیم محل علائم راتشخیص دهیم.بنابراین مراحل پیش پردازش الگوریتم رابدین صورت فهرست می کنیم.
1- تعیین دستی (x,y,z)علامت I ام دردوفریم اولیه روبروونیمرخ.
2- میانگین گیری RGB درهمسایگی (x,y)روبرو و(y,z)نیمرخ.
...(ادامه دارد)
6 – طبقه بندی
ازالگوریتم HMM برای شناسایی گفتارازروی حرکات لب استفاده می گردد[10]. بدین ترتیب که برای W لغت موجود دردایره لغات ،هدف ، طراحی یک HMM باN حالت مجزامی باشد. سیگنال تصویری مربوط به گفتارهرلغت به صورت سری زمانی بردارهای ویژگی نمایش داده می شود.بنابراین برای هرلغت عیک سری آموزشی وجود دارد که شامل تعدادی تکرارازآن لغت توسط یک یاچند گوینده می باشد.اولین قدم،ساخت مدل های لغت مجزااست؛ تاپارامتهای مدل هرلغت به صورت بهینه ای تخمین زده شوند.نهایتأ،هنگامی که مجموعه W مدل HMM طراحی شد،بازشناسی لغت مجهول صورت می گیردتاباداشتن سری مشاهدات مورد تست، نمره ای به مدل هرلغت داده شود ولغتی که نمره آن ازبقیه بالاتراست انتخاب شود.درنتیجه،برای بازشناسی لغات می بایست کارهای زیرصورت پذیرد :...(ادامه دارد)
8- نتیجه گیری:
برای آموزش وتست شبکه های مورد استفاده تعداد 37 جمله متفاوت ازیک گوینده انتخاب شده است که 30 جمله برای آموزش و7 جمله برای تست وارزیابی به کارگرفته شده است. برای سنجش کارایی روش ،معیاری به نام G اتخاذ شده است. ازاین معیاربرای ارزیابی کارکرد هر کدام ازپارامترهای کنترلی چهره استفاده می شود.معیاربه گونه ای است که هرچه عدد آن به یک نزدیکترباشد آن پارامترکارکرد بهتری داشته است.(33)
دررابطه ی (33)، P(K) مقدارپارامترکنترلی چهره ی استخراج شده برای فریم K ام تصویردر فازتست،b(k) مقدارصحیح این پارامترکه ازراه ردیابی به دست آمده وN تعداد کل فریم های مجموعه تست می باشد.مقدارمیانگین و واریانس مقدارپارامترهاکنترلی چهره به دست آمده ازردیابی است ....(ادامه دارد)
بخشی از فهرست مطالب مقاله روش جدید برای لب‌خوانی با استفاده از پردازش تصویر
چکیده :
واژه‌های کلی
1- مقدمه :
2- استخراج کانتورلب
3-2- مدل لب
2-2- فرمول بندی تابع هزینه
2-3- نگاشت احتمال تصاویرلب
2 -4 – بهینه سازی پارامترهای مدل
3- قطعه بندی Watershed
1. خواندن تصویر
2. حداکثرتباین
4. تبدیل اشیاء مورد نظر
6 . قطعه بندی Watershed
...(ادامه دارد)
دانلود مقاله روش جدید برای لب‌خوانی با استفاده از پردازش تصویر