تحقیق درباره روش جدید برای لب‌خوانی با استفاده از پردازش تصویر

اختصاصی از یارا فایل تحقیق درباره روش جدید برای لب‌خوانی با استفاده از پردازش تصویر دانلود با لینک مستقیم و پر سرعت .

فرمت فایل:  ورد ( قابلیت ویرایش ) 

---

قسمتی از محتوی متن ...

تعداد صفحات : 13 صفحه

روش جدید برای لب‌خوانی با استفاده از پردازش تصویر چکیده : بازشناسی تصویری گفتار به عنوان فرآیندی برای کمک به افرادی که دچار آسیب در سیستم صوتی شده‌اند، در سالهای اخیر مورد توجه محققین قرار گرفته‌ است.
در این مقاله سعی در این بوده که سه روش برای استخراج ویژگی شکل لب ارائه شود : استخراج کانتور لب ، قطعه‌بندیWatershed ، پارامترهای پویانمایی چهره .
سپس برای شناسایی گفتار از روی حرکات لب از الگوریتم HMM و شبکه‌های عصبی پرسپترون دولایه با ساختاری ساده استفاده شده است.
واژه‌های کلیدی : بازشناسی تصویری گفتار ،استخراج کانتور لب ، قطعه‌بندی Watershed ، پویانمایی چهره ، ردیابی علائم .
1- مقدمه : سامانه‌ی لب‌خوانی رایانه‌ای به معلولینی کمک می کند که دچار آسیب در سیستم صوتی بوده و قادر به برقراری ارتباط با دیگران نیستند.
این افراد معمولا توانایی انجام صحیح حرکات لب به شکلی که برای تکلم لازم است را داشته و در حالت ایده‌آل می‌توان با انجام لب‌خوانی به مقصود آنها پی برد.
این نرم‌افزار به معلولینی که از صندلی چرخدار استفاده می‌کنند و فقط توانایی انجام صحیح حرکات لبشان را دارند کمک می‌کند؛ بدین ترتیب که با کمک دوربین فیلمبرداری حرکات لب آنها ثبت می‌شود و پس از آنالیز ، فرامین لازم به ویلچر داده می‌شود.
از جمله کاربرد های این سامانه می‌توان به تشخیص فرامین ناتوانان گفتاری ،تشخیص برخی کلمات خاص، مکمل بازشناسی گفتار صوتی و همچنین کاربرد‌های نظامی و اطلاعاتی ذکر کرد .
در کاربرد حفاظتی ، این سامانه می‌تواند با بهره‌گیری از حرکات لب و بدون ثبت سیگنال صوتی ،کلمات خاصی را شناسایی و تصویر گوینده‌ی آن را در مراکز عمومی و محل‌های تردد ثبت کند.
فرآیند بازشناسی تصویری گفتار شامل دو مرحله‌ی استخراج ویژگی از دنباله تصاویر لب و طبقه‌بندی ویژگی‌های بدست آمده است.
ویژگی گفتاری تصویر حرکات لب معلولین که دارای رنگ پوست و ظاهر متفاوتی هستند ، به کمک طراحی یک الگوریتم جدید استخراج شده و در مرحله‌ی بعد با استفاده از الگوریتم مدل مخفی مارکوف ، حرکات و گفتار تصویری تشخیص داده می‌شود .
بهره‌گیری از اطلاعات تصویری از شکل‌های لب و حرکات آن ، دقت و اطمینان سیستم‌های تشخیص اتوماتیک گفتار صوتی را ـ خصوصا در محیط‌های نویزی ـ بطور قابل توجهی بهبود می بخشد .
آزمایش این نرم‌فزار بر روی مجموعه‌ی دادگان جمع‌آوری شده ،شامل 20 نفر زن و مردِ 20 تا50 سال صورت گرفته و روی 6 واژه گفتاری 1،2،3،4،5،6 با 91درصد موفقیت ، بازشناسی گفتار انجام شده است .
این پژوهش‌ها در مراحل تکمیلی می توانند با افزایش تعداد کلماتِ قابل شناسایی ، محدوده‌ی تشخیص را هر چه بیشتر افزایش دهند .
2- استخراج کانتورلب به منظوراستخراج ویژگیهای تصویری مربوط به تولید گفتار،استخراج دقیق شکل لب حیاتی می باشد.
استفاده ازرویکردهای مبتنی برلبه برای استخراج لب دارای مشکلات فراوانی می باشد؛ زیرانگاشتهای بدست آمده براساس ویژگی لبه معمولأ دارای نویزواشتباهات فراوانی می باشد.
به علاوه لبه هااغلب درمرزلب مفقود بوده یاازنظردامنه خیلی ضعیف هستند.
باتوجه به این مشکلات، رویکرد استخراج کانتورلب مابه آشکا

متن کامل را می توانید دانلود نمائید چون فقط تکه هایی از متن در این صفحه درج شده به صورت نمونه

ولی در فایل دانلودی بعد پرداخت متن کامل

همراه با تمام متن با فرمت ورد ,Word, که قابل ویرایش و کپی کردن می باشند

موجود است 

دانلود تحقیق روش جدید برای لب‌خوانی با استفاده از پردازش تصویر

اختصاصی از یارا فایل دانلود تحقیق روش جدید برای لب‌خوانی با استفاده از پردازش تصویر دانلود با لینک مستقیم و پر سرعت .

چکیده :
بازشناسی تصویری گفتار به عنوان فرآیندی برای کمک به افرادی که دچار آسیب در سیستم صوتی شده‌اند، در سالهای اخیر مورد توجه محققین قرار گرفته‌ است. در این مقاله سعی در این بوده که سه روش برای استخراج ویژگی شکل لب ارائه شود : استخراج کانتور لب ، قطعه‌بندیWatershed  ، پارامترهای پویانمایی چهره . سپس برای شناسایی گفتار از روی حرکات لب از الگوریتم HMM و شبکه‌های عصبی پرسپترون دولایه با ساختاری ساده استفاده شده است.

1-   مقدمه :
سامانه‌ی لب‌خوانی رایانه‌ای به معلولینی کمک می کند که دچار آسیب در سیستم صوتی بوده و قادر به برقراری ارتباط با دیگران نیستند. این افراد معمولا توانایی انجام صحیح  حرکات لب به شکلی که برای تکلم لازم است را داشته و در حالت ایده‌آل می‌توان با انجام لب‌خوانی به مقصود آنها پی برد. این نرم‌افزار به معلولینی که از صندلی چرخدار استفاده می‌کنند و فقط توانایی انجام صحیح حرکات لبشان را دارند کمک می‌کند؛ بدین ترتیب که با کمک دوربین فیلمبرداری حرکات لب آنها ثبت می‌شود و پس از آنالیز ، فرامین لازم به ویلچر داده می‌شود.
از جمله کاربرد های این سامانه می‌توان به تشخیص فرامین ناتوانان گفتاری ،تشخیص برخی کلمات خاص، مکمل بازشناسی گفتار صوتی و همچنین کاربرد‌های نظامی و اطلاعاتی ذکر کرد .در کاربرد حفاظتی ، این سامانه می‌تواند با بهره‌گیری از حرکات لب و بدون ثبت سیگنال صوتی ،کلمات خاصی را شناسایی و تصویر گوینده‌ی آن را در مراکز عمومی و محل‌های تردد ثبت کند.
فرآیند بازشناسی تصویری گفتار شامل دو مرحله‌ی استخراج ویژگی از دنباله تصاویر لب و طبقه‌بندی ویژگی‌های بدست آمده است. ویژگی گفتاری تصویر حرکات لب معلولین که دارای رنگ پوست و ظاهر متفاوتی هستند ، به کمک طراحی یک الگوریتم جدید استخراج شده و در مرحله‌ی بعد با استفاده از الگوریتم مدل مخفی مارکوف ، حرکات و گفتار تصویری تشخیص داده می‌شود . بهره‌گیری از اطلاعات تصویری از شکل‌های لب و حرکات آن ، دقت و اطمینان سیستم‌های تشخیص اتوماتیک گفتار صوتی را ـ خصوصا در محیط‌های نویزی ـ بطور قابل توجهی بهبود می بخشد .
آزمایش این نرم‌فزار بر روی مجموعه‌ی دادگان جمع‌آوری شده ،شامل 20 نفر زن و مردِ 20 تا50 سال صورت گرفته و روی 6 واژه گفتاری 1،2،3،4،5،6 با 91درصد موفقیت ، بازشناسی گفتار انجام شده است . این پژوهش‌ها در مراحل تکمیلی می توانند با افزایش تعداد کلماتِ قابل شناسایی ، محدوده‌ی تشخیص را هر چه بیشتر افزایش دهند .
 
2- استخراج کانتورلب
به منظوراستخراج ویژگیهای تصویری مربوط به تولید گفتار،استخراج دقیق شکل لب حیاتی می باشد.استفاده ازرویکردهای مبتنی برلبه برای استخراج لب دارای مشکلات فراوانی می باشد؛ زیرانگاشتهای بدست آمده براساس ویژگی لبه معمولأ دارای نویزواشتباهات فراوانی می باشد. به علاوه لبه هااغلب درمرزلب مفقود بوده یاازنظردامنه خیلی ضعیف هستند.باتوجه به این مشکلات، رویکرد استخراج کانتورلب مابه آشکارسازی لبه هادرلب استناد نکرده است، بلکه هدف ماتقسیم بندی تصاویرلب داده شده به ناحیه لب وغیرلب براساس شدت روشنایی ورنگ پیکسلهامی باشد.دراین روش،فرض نمی شود که لب دارای یک رنگ خاص باشد بلکه جستجو بر اساس تفاوت شدت روشنایی ورنگ بین نواحی لب وغیرلب صورت می گیرد.درادامه درابتدا مدل پیشنهادی باجزئیات شرح داده می شود.سپس تابع هزینه برای پیداکردن بهینه مرزبین ناحیه لب وغیرلب ولگوریتم بهینه سازی پارامترهای مدل توضیح داده می شود.
3-2- مدل لب
ازمدلهای انعطاف پذیرهندسی برای مدل کردن شکل لب استفاده شده است .مدل هندسی به شکل لب اجازه می دهد که بوسیله یک مجموعه کوچکی ازپارامترهاباتفسیرفیزیکی توصیف شود. مدل هندسی لب درشکل (1) نشان داده شده است وبامعادلات(1) و(2) توصیف می شود:
(1) و (2)
 
تفسیرفیزیکی پارامترهادرشکل نشان داده شده است.پارامترs انحراف شکل لب رانشان می دهد. پارمترs انحراف منحنی ازحالت چهارگوش راتوصیف می کند.s به توان دورسیده وبایک جمع شده تاهمیشه مثبت باشد.همچنین پارامترs اجازه می دهد که مدل لب برروی تصاویرلب بادرجه متفاوت خمیدگی منطبق شود.اگرچه لب گوینده وحرکات لب به طورکلی متقارن نمی باشد اما انحراف ازحالت متقارن بودن معمولأ دارای اهمیت نمی باشد.
 


2-2- فرمول بندی تابع هزینه

برای بدست آوردن یک مدل دقیق،تابع هزینه برای تعیین پارامترهای مدل به طریقه ای که پیکسلهای دارای ناحیه لب دارای احتمال پایین باشند،تعریف می شود وفرض می شود که ناحیه لب وخارج لب هم پوشانی نداشته باشند.مرزاین ناحیه زمانی بدست می آید که این تابع هزینه مینیمم شود.تابع هزینه بصورت (3) تعریف می شود:
(3)    

که ) B) 1R و) B)R 2 به ترتیب ناحیه لب وغیرلب می باشند و Prob1 (m,n) احتمال اینکه پیکسل درمکان (m,n) ،پیکسل غیرلب باشد رامشخص می کند. مرز بهینه B با مینیم سازی C(B)به طریقه‌ای که R1(B) شامل پیکسلهایی با Prob1(m,n) بالا و R2(B) شامل پیکسلهایی با Prob2( m,n)  بالا باشد،مشخص می شود.با لگاریتم گرفتن ازمعادله بالا وساده سازی رابطه (4) بدست می آید:

شامل 13 صفحه Word

دانلود مقاله روش جدید برای لب‌خوانی با استفاده از پردازش تصویر

اختصاصی از یارا فایل دانلود مقاله روش جدید برای لب‌خوانی با استفاده از پردازش تصویر دانلود با لینک مستقیم و پر سرعت .

مشخصات این فایل
عنوان: روش جدید برای لب‌خوانی با استفاده از پردازش تصویر
فرمت فایل:word (قابل ویرایش)
تعداد صفحات: 13

این مقاله در مورد روش جدید برای لب‌خوانی با استفاده از پردازش تصویر می باشد.

 

بخشی از تیترها به همراه مختصری از توضیحات مقاله روش جدید برای لب‌خوانی با استفاده از پردازش تصویر

- استخراج کانتورلب
به منظوراستخراج ویژگیهای تصویری مربوط به تولید گفتار،استخراج دقیق شکل لب حیاتی می باشد.استفاده ازرویکردهای مبتنی برلبه برای استخراج لب دارای مشکلات فراوانی می باشد؛ زیرانگاشتهای بدست آمده براساس ویژگی لبه معمولأ دارای نویزواشتباهات فراوانی می باشد. به علاوه لبه هااغلب درمرزلب مفقود بوده یاازنظردامنه خیلی ضعیف هستند.باتوجه به این مشکلات، رویکرد استخراج کانتورلب مابه آشکارسازی لبه هادرلب استناد نکرده است، بلکه هدف ماتقسیم بندی تصاویرلب داده شده به ناحیه لب وغیرلب براساس شدت روشنایی ورنگ پیکسلهامی باشد.دراین روش،فرض نمی شود که لب دارای یک رنگ خاص باشد بلکه جستجو بر اساس تفاوت شدت روشنایی ورنگ بین نواحی لب وغیرلب صورت می گیرد.درادامه درابتدا مدل پیشنهادی باجزئیات شرح داده می شود.سپس تابع هزینه برای پیداکردن بهینه مرزبین ناحیه لب وغیرلب ولگوریتم بهینه سازی پارامترهای مدل توضیح داده می شود....(ادامه دارد)

2-3- نگاشت احتمال تصاویرلب
ارزیابی (P)E نیازبه نگاشت احتمال تصاویرلب دارد که این نگاشت ،احتمال این رامشخص می کند که پیکسل،پیکسل لب هست یانه؟ الگوریتم خوشه بندی فازی]11[ برای ایجاد چنین نگاشت احتمالی استفاده می شود .این یک روش یادگیری بدون سرپرستی می باشد ونه فرض اولیه ای درمورد توضیع ویژگیهادرنظرمی گیرد ونه آموزش مورد نیازمی باشد.الگوریتم تلاش می کند برای هرپیکسل براساس توزیع بردارهای ویژگی هرپیکسل درفضای ویژگی واثرمتقابل هرپیکسل با8 تاازهمسایگی اش، یک مقداراحتمال مناسب برای هرپیکسل مشخص کند....(ادامه دارد)

5-1 الگوریتم پیشنهادی
دراین الگوریتم مبنای مقایسه برای ردیابی علائم درفریم های ویدئویی،مختصات علائم درفریم اولیه یامبنااست.فریم اولیه، فریمی است که درآن حالت چهره ی گوینده حالت عادی تعریف شده دراستاندارد باید باشد .تعیین مختصات علائم دراین فریم به صورت دستی انجام شده وسپس در همسایگی مختصات مربوط به هرعلامت میانگین گیری برای هریک ازنگ های G,R وB  انجام می شود.باتوجه به RGB به دست آمده برای هرعلامت بازه ای مشخص می کنیم تابا استفاده ازآن درفریم های بعدی بتوانیم محل علائم راتشخیص دهیم.بنابراین مراحل پیش پردازش الگوریتم رابدین صورت فهرست می کنیم.
1- تعیین دستی (x,y,z)علامت I ام دردوفریم اولیه روبروونیمرخ.
2- میانگین گیری    RGB درهمسایگی (x,y)روبرو و(y,z)نیمرخ.
...(ادامه دارد)

6 – طبقه بندی
ازالگوریتم HMM برای شناسایی گفتارازروی حرکات لب استفاده می گردد[10]. بدین ترتیب که برای W لغت موجود دردایره لغات ،هدف ، طراحی یک HMM باN حالت مجزامی باشد. سیگنال تصویری مربوط به گفتارهرلغت به صورت سری زمانی بردارهای ویژگی نمایش داده می شود.بنابراین برای هرلغت عیک سری آموزشی وجود دارد که شامل تعدادی تکرارازآن لغت توسط یک یاچند گوینده می باشد.اولین قدم،ساخت مدل های لغت مجزااست؛ تاپارامتهای مدل هرلغت به صورت بهینه ای تخمین زده شوند.نهایتأ،هنگامی که مجموعه W مدل HMM طراحی شد،بازشناسی لغت مجهول صورت می گیردتاباداشتن سری مشاهدات مورد تست، نمره ای به مدل هرلغت داده شود ولغتی که نمره آن ازبقیه بالاتراست انتخاب شود.درنتیجه،برای بازشناسی لغات می بایست کارهای زیرصورت پذیرد :...(ادامه دارد)

8- نتیجه ‌گیری:
برای آموزش وتست شبکه های مورد استفاده تعداد 37 جمله متفاوت ازیک گوینده انتخاب شده است که 30 جمله برای آموزش و7 جمله برای تست وارزیابی به کارگرفته شده است. برای سنجش کارایی روش ،معیاری به نام G اتخاذ شده است. ازاین معیاربرای ارزیابی کارکرد هر کدام ازپارامترهای کنترلی چهره استفاده می شود.معیاربه گونه ای است که هرچه عدد آن به یک نزدیکترباشد آن پارامترکارکرد بهتری داشته است.(33)
دررابطه ی (33)، P(K) مقدارپارامترکنترلی چهره ی استخراج شده برای فریم K ام تصویردر فازتست،b(k) مقدارصحیح این پارامترکه ازراه ردیابی به دست آمده وN  تعداد کل فریم های مجموعه تست می باشد.مقدارمیانگین و واریانس مقدارپارامترهاکنترلی چهره به دست آمده ازردیابی است ....(ادامه دارد)

بخشی از فهرست مطالب مقاله روش جدید برای لب‌خوانی با استفاده از پردازش تصویر

چکیده :
واژه‌های کلی
1- مقدمه :
2- استخراج کانتورلب
3-2- مدل لب
2-2- فرمول بندی تابع هزینه
2-3- نگاشت احتمال تصاویرلب
2 -4 – بهینه سازی پارامترهای مدل
3- قطعه بندی Watershed
1. خواندن تصویر
2. حداکثرتباین
4. تبدیل اشیاء مورد نظر
6 . قطعه بندی Watershed
...(ادامه دارد)

دانلود تحقیق روش جدید برای لب‌خوانی با استفاده از پردازش تصویر

اختصاصی از یارا فایل دانلود تحقیق روش جدید برای لب‌خوانی با استفاده از پردازش تصویر دانلود با لینک مستقیم و پرسرعت .

بازشناسی تصویری گفتار به عنوان فرآیندی برای کمک به افرادی که دچار آسیب در سیستم صوتی شده‌اند، در سالهای اخیر مورد توجه محققین قرار گرفته‌ است. در این مقاله سعی در این بوده که سه روش برای استخراج ویژگی شکل لب ارائه شود : استخراج کانتور لب ، قطعه‌بندیWatershed  ، پارامترهای پویانمایی چهره . سپس برای شناسایی گفتار از روی حرکات لب از الگوریتم HMM و شبکه‌های عصبی پرسپترون دولایه با ساختاری ساده استفاده شده است.

واژه‌های کلیدی : بازشناسی تصویری گفتار ،استخراج کانتور لب ، قطعه‌بندی Watershed ، پویانمایی چهره ، ردیابی علائم .

1-   مقدمه :

             سامانه‌ی لب‌خوانی رایانه‌ای به معلولینی کمک می کند که دچار آسیب در سیستم صوتی بوده و قادر به برقراری ارتباط با دیگران نیستند. این افراد معمولا توانایی انجام صحیح  حرکات لب به شکلی که برای تکلم لازم است را داشته و در حالت ایده‌آل می‌توان با انجام لب‌خوانی به مقصود آنها پی برد. این نرم‌افزار به معلولینی که از صندلی چرخدار استفاده می‌کنند و فقط توانایی انجام صحیح حرکات لبشان را دارند کمک می‌کند؛ بدین ترتیب که با کمک دوربین فیلمبرداری حرکات لب آنها ثبت می‌شود و پس از آنالیز ، فرامین لازم به ویلچر داده می‌شود.

             از جمله کاربرد های این سامانه می‌توان به تشخیص فرامین ناتوانان گفتاری ،تشخیص برخی کلمات خاص، مکمل بازشناسی گفتار صوتی و همچنین کاربرد‌های نظامی و اطلاعاتی ذکر کرد .در کاربرد حفاظتی ، این سامانه می‌تواند با بهره‌گیری از حرکات لب و بدون ثبت سیگنال صوتی ،کلمات خاصی را شناسایی و تصویر گوینده‌ی آن را در مراکز عمومی و محل‌های تردد ثبت کند.

             فرآیند بازشناسی تصویری گفتار شامل دو مرحله‌ی استخراج ویژگی از دنباله تصاویر لب و طبقه‌بندی ویژگی‌های بدست آمده است. ویژگی گفتاری تصویر حرکات لب معلولین که دارای رنگ پوست و ظاهر متفاوتی هستند ، به کمک طراحی یک الگوریتم جدید استخراج شده و در مرحله‌ی بعد با استفاده از الگوریتم مدل مخفی مارکوف ، حرکات و گفتار تصویری تشخیص داده می‌شود . بهره‌گیری از اطلاعات تصویری از شکل‌های لب و حرکات آن ، دقت و اطمینان سیستم‌های تشخیص اتوماتیک گفتار صوتی را ـ خصوصا در محیط‌های نویزی ـ بطور قابل توجهی بهبود می بخشد .

واژه‌های کلیدی :
2- استخراج کانتورلب
3-2- مدل لب
2-2- فرمول بندی تابع هزینه
2-3- نگاشت احتمال تصاویرلب
2 -4 – بهینه سازی پارامترهای مدل
4-1 پارامترهای پویانمایی چهره
5-1 الگوریتم پیشنهادی

شامل 13 صفحه فایل word