я также понял и изучил вот это https://ru.wikipedia.org/wiki/%D0%A6%D0%B2%D0%B5%D1%82%D0%BE%D0%B2%D0%B0%D1%8F_%D1%81%D1%83%D0%B1%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F
Если в двух словах:
картинка фильма разделяется на 3 картинки, одна из них чёрно белая, две цветных:
https://upload.wikimedia.org/wikipedia/commons/thumb/2/29/Barn-yuv.png/300px-Barn-yuv.png

обычно используется формат YUV420 — то есть чёрно белая картинка имеет полное разрешение, цветные же картинки имеют лишь половинное разрешение — то есть имеем сериал 90х годов разрешением — 352х240:
чёрно белая состовляющая имеет разрешение 352х240
обе цветные составляющие имеют разрешение 176х120 — то есть половину от полного, и растянуты (апскейлены) до 352х240

То есть растягивание(апскейл) на самом деле присутствует ВСЕГДА, даже когда мы не растягиваем вообще, и смотрим 1 к 1 размером…
То есть качественный скейлер нужен всегда, так как цветные составляющие картинки идут всегда растянутые в 2 раза(при формате 411 в 4 раза)
от качества скейлера и его фильтров будет зависеть восстановление цвета…

Без фильтрации совсем, как тут многие любят, кстати на самом деле фильтры полностью отключить невозможно — получается лютая срань:

Стандартный рендер в лучшем случае применяет билинейку, тоже лютая срань:

а теперь представим что мы 176х120(цветные составляющие) изображение ещё и растянули в 2 раза…как мы уже выяснили оно и так растянуто в раза, а тут мы ещё в 2 раза растягиваем….в итоге оно оказывается растянуто уже в 4 раза….

И только madVR имеет продвинутые фильтры, которые почти полностью восстанавливают цветовое разрешение… от чего собственно яркость и повышается:
http://puu.sh/tNwhh/9fda86177f.png

то что я сверху сравнивал чёрно белые картинки — это меньше половины фишек madVR — основную работу он как раз производит над цветом