درک مولفه های تخریبی تصویر دوبعدی همچنین وابسته به مقیاس است و این می تواند با بهره گرفتن از معیارهای تصویر دوبعدی که توسط چشم ها دریافت می شود در مقیاس های مختلف از یک تصویر (شرح داده شده در مرجع [۱۲])، یا با بهره گرفتن از معیار کیفیت که ذاتا چند مقیاسی است.
نگاشت های اختلاف دو چشمی، نگاشت شباهت استریوها و تصاویر سایکلپین از یک روش چند مقیاسی توسط روش زیر مشتق گرفته شده (شرح داده شده در شکل ۳-۴):
ساخت اهرام گاوسی برای تصاویر چپ و راست از هر دو تصویر زوج استریو مرجع و آزمون. اندازه تصویر در مقیاس کوچک با اندازه اختلاف بلوک جستجو (مثلاً پنجره ۱۳x 13) محدود شده است.

با شروع از بالای هرم (تصویر با مقیاس کوچک) نگاشت اختلاف ادراکی و نگاشت شباهت استریو همان طور که در بند ۳-۱-۱ شرح داده شده، ساخته می­شوند. با اعمال جستجو “از مقیاس کم به زیاد” با بهره گرفتن از اختلاف محاسبه شده در سطوح پیشین هرم به تعریف مرکز منطقه جستجو سطح کنونی پرداخته می شود.
ساخت تصاویر سایکلپین محلی بر اساس نگاشت اختلاف به دست آمده است. مقایسه تصاویر سایکلپین محلی بین زوج استریو آزمون و مرجع با بهره گرفتن از اندازه گیری شباهت ادراکی صورت گرفته. مقدار متوسط همه نتایج مقایسه­ها ارزش کیفیت تصویر دوبعدی مقیاس مربوطه را می دهد.
بدست آوردن یک نگاشت، از تفاوت کلی بین اختلاف دوچشمی مرجع و آزمون برای اندازه گیری اعوجاج معرفی شده در نشانه های دو چشمی است. بدست آوردن یک نگاشت از تفاوت کلی بین مؤلفه شباهت استریو مرجع و آزمون برای اندازه گیری مولفه های اعوجاجی معرفی شده می باشد که باعث فشار بصری می شود. ضرب دو نگاشت بصورت نقطه به نقطه و از نتیجه به عنوان یک نگاشت کیفیت سه بعدی برای مقیاس مربوطه استفاده می شود.
شکل ۳-۴. محاسبه اختلاف (د)، شباهت استریو (س)
و تصاویر سایکلپین (ج) برای مقیاس های مختلف از یک تصویر زوج استریو
در مرحله بعد مؤلفه کیفیت دوبعدی برای مقیاس های مختلف در یک معیار واحد کیفیت دوبعدی ترکیب می­شوند. مقدار متوسط نگاشت کیفیت سه ­بعدی، برای همه مقیاس ها به عنوان یک مؤلفه کیفیت سه ­بعدی واحد برای کل هرم در نظر گرفته می­ شود. مقدار QM و QS بین ۱ (حداکثر کیفیت) و ۰ (حداقل کیفیت) تغییر می­ کند.
اهمیت نسبی QM و QS برای کیفیت کلی تصاویر سه بعدی از نظر بیننده، بسته به اینکه چقدر سیستم بصری بیننده متکی به نشانه های دو چشمی برای درک عمق است، متفاوت خواهد بود. به طور متوسط اهمیت ​​هر یک از مؤلفه ها با بهره گرفتن از آزمون­های ذهنی در مقیاس بزرگ تخمین زده می شود.
۳-۱-۲ نتیجه گیری
یک طبقه بندی از مولفه های تخریبی خاص برای ویدیو استریو و یک چارچوب ارزیابی کیفیت که می تواند به طور جداگانه تصویر دو بعدی و سه بعدی را برآورد کند، ارائه شده است. این چارچوب بر اساس شاخص کیفیت SSIM است، اما معیارهای دیگری برای شباهت ادراکی می تواند مورد استفاده قرار گیرد. آزمایش های اولیه نتایج امیدوار کننده ای در اختیار قرار داده است. با این حال، آزمایشات هنوز به اندازه کافی در مقیاس بزرگ برای اثبات چارچوب جهانی و برای کمک به اصلاح در اندازه گیری عینی پیشنهاد شده، صورت نگرفته است. برنامه ریزی برای کار آینده شامل آزمایش های ذهنی و گسترش اندازه گیری به سوی ادراک فضایی- زمانی و رنگ می باشد.
۳-۲ ارزیابی کیفیت تصاویر استریو بر اساس معیارهای عینی
در مرجع [۱۵]، یک استاندارد برای ارزیابی کیفیت تصاویر استریو که متکی براستفاده ازبرخی از معیارهای کیفیت دوبعدی شناخته شده می باشد، ارائه شده است. در بین استانداردهایی که در مرجع [۱۵] استفاده شده، معیار شباهت ساختاری^[۵۰] (که در مرجع [۱۶] شرح داده شده) و روشC4 (در مرجع [۱۷] شرح داده شده) در معیار عینی ارائه شده مورد استفاده قرار گرفته­ اند. لذا این دو معیار کیفیت دوبعدی بطور خلاصه در ادامه تشریح می­گردند:
معیار شباهت ساختاری، یک معیار عینی برای ارزیابی کیفیت ادراکی تصویرمی باشد، این کار بر اساس این فرضیه است که ادراک بصری انسان به شدت جهت استخراج اطلاعات ساختاری از یک صحنه تطبیق یافته است. ارزیابی کیفیت می­بایست بر مبنای تخریب اطلاعات ساختاری باشد با این فرض که خطای دید معادل از دست دادن کیفیت نیست؛ زیرا برخی از اعوجاج های موجود، ممکن است به وضوح قابل مشاهده بوده اما به دلیل عدم تخریب ساختار کلی خیلی آزار دهنده نباشد. در نهایت معیار شباهت ساختاری به طور مستقیم به ارزیابی تغییرات ساختاری و سیگنال که ساختار پیچیده ای دارند می پردازد.
روش C4 یک معیار بر اساس مقایسه بین اطلاعات ساختاری استخراج شده از تصویر اعوجاجی و تصاویر اصلی است. این روش در پیاده سازی یک مدل شفاف ازسیستم بینایی انسان مورد استفاده قرار گرفته است.
فرایند کامل را می توان به دو مرحله تجزیه کرد:
در مرحله اول، نمایش ادراکی از تصاویر اصلی و اعوجاجی، ساخته می شود. سپس، در مرحله دوم، این نمایش ها به منظور محاسبه کیفیت محاسبه می شوند.
در مرجع [۱۵]، تمام معیارهای دوبعدی موجود به طور جداگانه بر روی هر تصویر (چشم راست و چپ) اعمال شده و روش های ترکیبی به منظور به دست آوردن یک معیار کلی برای زوج استریو، ارائه و مورد بررسی قرار گرفته است. همبستگی بین معیار تفاوت^[۵۱] وهر یک از معیارهای عینی پس از یک عملیات “نگاشت” به منظور ارزیابی عملکرد هر یک از معیارها محاسبه می شود. بطور واضح ­تر، “نگاشت” اشاره به استفاده از تابع غیر خطی دارد که در روش VQEG به منظور تطبیق معیارهای عینی در فضای معیارهای ذهنی توصیه می شود. برای هرحالت، پارامترهای تابع نگاشت بهینه سازی شده است. به عنوان یک نتیجه اولیه، متوسط ​​​​امتیازات دوچشم چپ و راست درمیان روش های همجوشی به کارگرفته شده، بهترین نتیجه را در اختیار قرار می­دهد.
با این حال، در معیار ارائه شده در مرجع [۱۵] هیچ اطلاعاتی در مورد درک عمق مد نظر گرفته نشده است. همانطور که در بخش های قبل شرح داده شد، کم بود اطلاعات عمق می تواند منجر به عدم تطبیق کیفی بین تصاویر دوبعدی و سه بعدی شود. در واقع، به عنوان مثال، در برخی موارد، تخریب یکی از زوج استریو با بهره گرفتن از فیلتر مات کننده^[۵۲] می تواند برای مشاهده بهتر تصاویر استریو کمک کند. در این حالت مشاهده می شود که با وجود تخریب معیارهای کیفیت دوبعدی کیفیت ادراک استریو افزایش یافته است؛ بنابراین، در معیار کیفیت سه ­بعدی ارائه شده با در نظر گرفتن این موضوع و با شروع از معیار ارائه شده در مرجع [۱۵]، میزان اطلاعات اضافه شده در پروسه بررسی کیفیت با بهره گرفتن از اطلاعات عمق، بررسی شده است. بطور خاص در این معیار بر اطلاعات عمق ناشی از تفاوت تصاویر دو چشم تأکید شده است. حس بینایی استریو مربوط به تفاوت در دیدگاه بین دوچشم است. با توجه به دو نقطه متناظر در تصاویر سمت چپ و راست از یک زوج استریو، بردار بین دو نقطه، بردار اختلاف نامیده می شود. به طور کلی، این بردار اختلاف می تواند برای ساخت یکی از دو تصویر از زوج استریو (با داشتن یکی دیگر) مورد استفاده قرار گیرد. بطور دقیق تر، دو الگوریتم محاسبه اختلاف برای این منظورانتخاب شده اند: معیار اول با نام “bpVision” در مرجع [۱۸] شرح داده شده و معیار دوم با نام “kz1″ در مرجع [۱۹] تشریح گردیده است. این دو الگوریتم اختلاف را با بهره گرفتن از میدان تصادفی مارکوف^[۵۳] مدل می کنند. با این حال، الگوریتم bpVision به منظور استخراج اختلاف از انتشار بلیف^[۵۴] استفاده می کند، در حالی که الگوریتم kz1 از برش گراف^[۵۵] استفاده و فرمولاسیون آنها از میدان تصادفی مارکوف متفاوت است.
بررسی مقایس های ​​ارائه شده در مرجع [۲۰] نشان می دهد که کارایی این دو روش نزدیک به یکدیگر بوده و نسبت به الگوریتم های ارائه شده دیگر ارجحیت دارد. روش های مبتنی بر برش گراف نتایج هموار تری در اختیار قرار می دهد، زیرا آنها قادر به پیدا کردن یک راه حل با انرژی کمتر هستند. از سوی دیگر، انتشار belief می تواند برخی از ساختارهایی که در روش برش گراف از دست می روند را حفظ کند. از نقطه نظر هزینه محاسباتی، روش های انتشار بلیف شتاب یافته مانند bpVision، سریعتر از روش های مبتنی بر برش گراف هستند.
هنگامی که اعوجاج به دلیل انتقال در کانال های در معرض خطا و یا عملیات پردازش سیگنال رخ می دهد، نگاشت اختلاف زوج استریو داده شده، تغییر می کند. به عنوان مثال به شکل ۳-۵ نگاه کنید که در آن نگاشت اختلاف اصلی به همراه نگاشت اختلاف از یک زوج استریو کد شده بر اساس استاندارد JPEG2000، نمایش داده شده است.
شکل ۳-۵. نگاشت اختلاف اصلی (سمت چپ) و نگاشت های اختلافی محاسبه شده
بعد ازفشرده سازی های JPG2000 مختلف با بهره گرفتن از الگوریتم bpVision
این ملاحظات لزوم به کارگیری این اطلاعات برای ارزیابی کیفیت درک شده از زوج استریو را به ما نشان می دهد. با این حال، تنها پس از تایید استفاده از مدل ارتقاء کیفیت با بهره گرفتن از آزمایش های ذهنی ما می توانیم استنباط کنیم که اطلاعات عمق مربوط به فرایند ارزشیابی کیفیت تصویر استریو می باشد.
برای معیار پیشنهاد شده، کیفیت زوج استریو اعوجاجی با اندازه گیری به شرح زیرمحاسبه می گردد:
اندازه گیری تفاوت بین تصاویر اصلی (چپ یاراست) و نسخه مربوطه که دچار اعوجاج شده (چپ یاراست). برای این منظور، می توان یکی ازمعیارهای کیفیت ادراکی معمول در دوبعدی مانند SSIM یا C4 را استفاده کرد. همانطور که در مرجع [۱۵] آمده است، به منظور استخراج میزان اعوجاج سراسری تصویر دوبعدی از اعوجاج اندازه گیری شده برای هر زوج تصویراستریو، متوسط گرفته می شود (M).
اندازه گیری تفاوت بین نگاشت اختلاف زوج استریو اصلی و نگاشت اختلاف زوج استریو اعوجاجی. لازم است به این موضوع اشاره شود که نگاشت های اختلاف، تصاویر طبیعی نیستند، معیارهای اعوجاج مبتنی بر ادراک قابل اعمال نمی باشند.
ترکیب این اطلاعات به دو صورت مختلف انجام می شود:
روش اول (ترسیم شده درشکل ۳-۶) شامل اندازه گیری یک اعوجاج اختلاف سراسری و ترکیب این اطلاعات با اطلاعات بدست آمده از ارزیابی زوج استریو به صورت دو تصویر دوبعدی مجزا، می­باشد (توضیح بیشتر در مرجع [۱۵]). به این صورت که ابتدا تصاویر چپ و راست بطور مجزا بر اساس معیارهای کفیت دوبعدی همچون SSIM یا C4 امتیازدهی شده و از این دو امتیاز متوسط گرفته می شود. معیار کیفیت دوبعدی حاصل با امتیاز بدست آمده بر اساس اعوجاج بردار اختلاف، ترکیب می شود.
شکل ۳-۶.. برآورد کیفیت از زوج های استریو استفاده می کند با بهره گرفتن از دیدگاه های چپ و راست اصلی (Left.Or،Right.Or) در مقایسه با نسخه های تخریب شده (Left.Dg، Right.Dg) و نگاشت مربوط به اختلاف اصلی در مقایسه با نگاشت اختلاف تخریب شده (Disp.Or و Disp.Dg) با بهره گرفتن از یک رویکرد سراسری است.
در روش دوم (ترسیم شده درشکل ۳-۷)، اعوجاج بردار اختلاف به صورت محلی اندازه گیری شده و سپس با امتیازات بدست آمده از ارزیابی کیفیت دوبعدی دو تصویر استریو به طور مستقل، ترکیب می­ شود. امتیاز پایانی، مقدار متوسط امتیاز بدست آمده از اعوجاج های چپ و راست است. معیار SSIM برای این روش مناسب است زیرا اندازه­ گیری­های SSIM برای هر پیکسل از تصاویر با استفاده ازنگاشت SSIM در دسترس می­باشند.
شکل ۳-۷. برآورد کیفیت از زوج های استریو استفاده می کند با استفاده ازدیدگاه های چپ و راست اصلی (Left.Or،Right.Or) درمقایسه با نسخه های تخریب شده (Left.Dg، Right.Dg) و نگاشت مربوط به اختلاف اصلی در مقایسه با نگاشت اختلاف تخریب شده (Disp.Or و Disp.Dg) با بهره گرفتن از یک رویکرد محلی است.
از سوی دیگر،C4 نمی تواند مورد استفاده قرار گیرد، چرا که الگوریتم آن بر مناطق گسسته ­ای از تصویر تمرکز دارد.
جزئیات این دو رویکرد در بخش های بعدی آمده است.
۳-۲-۱ کیفیت تصویر واندازه گیری اختلاف اعوجاج سراسری
در روش اول، تاثیر اندازه گیری اعوجاج اختلافی سراسری با استفاده ازضریب همبستگی بین نگاشت اختلاف اصلی و نگاشت اختلاف مربوط پردازش یافته پس از تخریب تصویر، محاسبه می شود.
کیفیت نهایی d از تلفیق اختلاف اعوجاج به دست آمده و متوسط ​​اعوجاج تصویر در سمت چپ و راست، M، بدست می آید. این دو اندازه بین ۰ (حداکثر خطای اندازه گیری) تا ۱ (بدون خطا اندازه گیری) تغییر می کنند. علاوه بر این، اندازه گیری اعوجاج اختلافی به تنهایی به منظور مقایسه در نظر گرفته شده است. باید به این نکته اشاره نمود که هدف اصلی، تعیین بهترین ترکیب ممکن نیست بلکه هدف اصلی یافتن یک مبادله مناسب میان ویژگی های کیفی مختلف است.
تفاوت های اصلی بین ترکیبات انتخاب شده مربوط به وزن اختصاص یافته به اختلاف اعوجاج اندازه گیری شده در مقایسه با اعوجاج های درون تصویر (چپ یا راست) می باشد:
تنها اعوجاج اختلافی را در نظر می گیرد در حالیکه و هر دو اختلاف و اعوجاج و اعوجاج درون تصویری را ترکیب می کنند (در واقع، وزن بیشتری به اختلاف اعوجاج می دهد ؛ برای اولین بار بر روی محاسبه اعوجاج دوبعدی تمرکز دارد و یک عامل اضافی مربوط به اندازه گیری اختلاف اعوجاج را اضافه می کند).
از رابطه زیر:
= M.
= M. (1+ (3-1) =
با بهره گرفتن از C4 و معیارهای SSIM، هفت معیار مختلف سراسری برای ارزیابی کیفیت به دست می آید:
SSIM (بدون در نظر گرفتن اختلاف)، C4 (بدون در نظر گرفتن اختلاف)، d3 (فقط بر اساس اختلاف)، SSIM با بهره گرفتن از d1، C4 با بهره گرفتن از d1، SSIM با بهره گرفتن از ۲d و C4 با بهره گرفتن از ۲d. معیار ۱d تاثیر اعوجاج اختلافی را محدود می کند در حالی که ۲d وزن بیشتری به این مقیاس می دهد.
لازم به ذکر است که محاسبه ضریب همبستگی برای اندازه گیری اعوجاج اختلافی را می توان باروش های دیگر جایگزین کرد. به عنوان مثال، ریشه متوسط​​ مربعات خطا ^[۵۶] می تواند مورد استفاده قرار گیرد زیرا از این روش در حال حاضر در ارزیابی الگوریتم های اختلافی موجود استفاده شده است، ولی در اینجا RMSE سراسری معیارهای کیفیت با عملکرد پایین تری می دهد. لذا در این الگوریتم تنها معیارهای مبتنی بر ضریب همبستگی مورد استفاده قرار گرفته­اند.
۳-۲-۲ کیفیت تصویر واندازه گیری اختلاف اعوجاج اختلاف محلی
در روش دوم پیشنهادی در این الگوریتم، معیار پیشنهادی در بخش قبل با بهره گرفتن از معیار محلی SSIM به همراه اندازه گیری اعوجاج های اختلافی محلی ارتقاء یافته است. در واقع، معیار SSIM کیفیت تصویر را با اندازه گیری سه فاکتور ارزیابی می نمایند:
درخشندگی
کنتراست
همواری ساختار