Апскейл что это: Увеличение видео 1080P до 4K, или Как я научился не волноваться и полюбил апскейл с помощью нейросетей / Хабр

Содержание

Увеличение видео 1080P до 4K, или Как я научился не волноваться и полюбил апскейл с помощью нейросетей / Хабр

Читая недавно очередную статью про апскейл (Upscale — масштабирование изображения до более высокого разрешения), на этот раз про коммерческий продукт Topaz AI Gigapixel, я оставил комментарий следующий содержания:

Жаль, что пост — простой перевод, хотелось бы сравнения с чем-нибудь бесплатным, вроде того же waifu2x. Полагаю, разницу найти будет очень сложно, даже несмотря на то, что waifu2x предназначена для анимации.

Ну а раз статья была переводом, я решил взять дело в свои руки. Итак, не будем тратить времени, знакомьтесь:
Под катом лонгрид, а также гайды по апскейлу видео с помощью Instant 4K, Waifu2x, Lanczos и Topaz Gigapixel AI.


Сравнивать их мы будем, используя собственные глаза, ведь под разнообразные решения для анализа изображения картинку можно оптимизировать, выиграв «лишние» проценты… Однако, отказываться от последних мы тоже не будем, поэтому к результатам в виде скриншотов будут добавлены результаты анализа MITSU и VMAF, так как обе программы работают с видео без образца. SSIM, PSNR и прочие нам в данном случае не подойдут, ведь у нас нет реального 4К, с которым результаты апскейла можно сравнить.

Все файлы из статьи, включая PNG кадры без сжатия, анимированные сравнения, 4К H.265 сэмплы, таблицы и FFV1 файлы лежат на Google. Зеркало на Яндекс. Там же лежат 3 простых видеогайда по использованию Adobe Premiere Instant 4K, Waifu2x и Topaz.Конфигурация тестового стенда:

CPU: Intel Core i7-4980HQ 4.2 ГГц

Материнская плата: MSI Z97 GAMING 5
(не спрашивайте)

ОЗУ: 32 Гб DDR3 2400

GPU: NVIDIA GTX 1080ti FE 11GB, частота ядра установлена вручную на 1923, частота памяти — 5602.

СХД: система и программы на SSD M.2 SATA 850 EVO 250GB, файлы на HDD 2 ТБ WDC WD40EZRZ.

Апскейл производился по следующему сценарию:

  • Если выбранный метод поддерживал работу напрямую из редактора видео Adobe Premiere, то вся работа происходила в этом редакторе, после чего результат экспортировался в кодеке FFV1 с параметром GOP 1, чтобы избежать любых потерь и использовать исключительно обратимую компрессию изображения.
  • Если выбранный метод не поддерживал работу из редактора видео, то видео раскладывалось на отдельные кадры в формате PNG с помощью простого bat-файла:BAT-файл для сохранения отдельных кадров в папку frames
    wmic process where name="cmd.exe" CALL setpriority 16384
    @echo off
    :hugly
    if "%~1" EQU "" goto mugly
    ffmpeg -probesize 1000M -i "%~1" -vsync vfr frames\image-%%03d.png
    shift
    goto hugly
    :mugly
    pause

    Для разложения видео на кадры достаточно положить этот файл в папку к ffmpeg.exe и создать папку frames, после чего банально перетащить видео-файл прямо на bat-файл.


    После этого, обработанные кадры были отправлены в FFMPEG на сведение, и экспортировались с точно такими же настройками, как и в первом случае.BAT-файл для сведения отдельных кадров в файл, без звука

    ffmpeg -framerate 24 -i image-%%03d.png -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -r 24 photoshop.mkv

    Параметры -framerate и -r отвечают за установку частоты кадров видео, должны быть указаны оба.

В обоих случаях, на выходе я получал файл MKV с кодеком FFV1, размером примерно 700 мегабайт на каждые 10 секунд видео.Результат анализа одного из файлов с помощью MediaInfo

General

Unique ID : 116184020412676472870756705294056286853 (0x57683A783D4732308C09451184B9EA85)

Complete name : D:\HABR\4K SOURCE\topaz.mkv

Format : Matroska

Format version : Version 4

File size : 1.21 GiB

Duration : 16 s 475 ms

Overall bit rate mode : Variable

Overall bit rate : 630 Mb/s

Writing application : Voukoder 1.2.1 (Premiere) - www.voukoder.org

Writing library : Lavf58.12.100

ErrorDetectionType : Per level 1

Video

ID : 1

Format : FFV1

Format version : Version 3.4

Format settings, GOP : N=1

Codec ID : V_MS/VFW/FOURCC / FFV1

Duration : 16 s 475 ms

Bit rate mode : Variable

Bit rate : 618 Mb/s

Width : 3 840 pixels

Height : 2 160 pixels

Display aspect ratio : 16:9

Frame rate mode : Constant

Frame rate : 23.976 (24000/1001) FPS

Color space : YUV

Chroma subsampling : 4:2:0

Bit depth : 8 bits

Scan type : Progressive

Compression mode : Lossless

Bits/(Pixel*Frame) : 3.107

Stream size : 1.19 GiB (98%)

Default : Yes

Forced : No

Color range : Limited

Color primaries : BT.709

Transfer characteristics : BT.709

Matrix coefficients : BT.709

coder_type : Golomb Rice

MaxSlicesCount : 12

ErrorDetectionType : Per slice

После чего каждый из файлов был открыт в MPC-HC с целью сделать скриншоты, а потом — отправлялся на анализ в ffmpeg с помощью, в очередной раз, bat-файла:Для работы этого скрипта ffmpeg должен быть собран с поддержкой libvmaf!

ffmpeg.exe -i instant_4k.mkv -i A016_C001_02073O_001.mkv -lavfi libvmaf=model_path=vmaf_4k_v0.6.1.pkl:log_path=vmaf.log:log_fmt=json:psnr=1:ssim=1:ms_ssim=1 -f null -

FFMPEG с поддержкой VMAF можно скачать по моим ссылкам на Google и Яндекс выше.

MITSU же, в свою очередь, в настройке не нуждался, готовые bat-файлы требуют небольшой доработки напильником (я указал полные пути до ffprobe и ffmpeg, а также поместил в папку с исполняемым файлом cygwin1.dll).

Полученные данные были импортированы в Excel и превращены в красивые и не очень графики.

FFV1 файлы также были сконвертированы в mp4 с кодеком h365 (для того, чтобы минимизировать размер файлов сохранив максимум деталей) с VBR 25000 кбит\с и отключенным SAO, в надежде достигнуть адекватного качества.

↑ Назад к содержанию

В данной статье мы рассматриваем разнообразные примеры: фрагменты из сериала в 1080Р, рисованная анимация и даже 4К видео, снятое на профессиональную камеру, чтобы получить объективные результаты для различных случаев использования рассматриваемых программ.

Были обработаны следующие типы видео:

  • Сцена из сериала «Person of Interest», S02E20, интро: много компьютерной графики, много движения и смен планов.
  • Сцена из той же серии сериала: мало движения, несколько смен планов и много деталей на заднем и переднем плане, от веток деревьев до деталей лиц.

    Обе сцены взяты из одного файла с разрешением 1920х1080 (Full HD), кодек H.264, битрейт — 12664 кбит в секунду. Это достаточно хорошее исходное качество для сериала. Сравнение результата апскейла производилось с файлом, увеличенным с помощью простейшей билинейной интерполяции (она указана в списке, как референс).

  • Пример видео с сайта RED.com: реальный 4K HD (3840×2160), снятый в 120FPS. Видео было уменьшено до 1920х1080 с помощью Lanczos, а потом увеличено до 4К с помощью программ из списка выше. Фреймрейт был уменьшен до ~24 кадров в секунду. Сравнение результата производилось с исходным файлом, конвертированным из RED файла в уже привычный нам FFV1 (ffmpeg отказывается работать с RED-файлами).
  • Рисованная анимация «Священная книга оборотня», скачано с YouTube, искусственная тряска «камеры», много смен планов. Исходный файл в разрешении 1280х720, контейнер WEBM, кодек VP9, битрейт 1556 кбит\с. Это весьма низкое качество, но вполне обычное явление на YouTube.

↑ Назад к содержаниюИзучим каждый из способов апскейла немного детальнее:

  • Red Giant Shooter Instant 4K 13.1.5

    Платный: да (99$).

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): да.

    Настройки качества: Filter Type — Best, Sharpness 2, Quality 25 (максимум), Anti-aliasing 6. Это стандартные настройки, за исключением Quality — он был установлен на максимум вручную.

    Время обработки 914 кадров INTRO: 532 секунды (в 11 раз дольше обычного экспорта).

    Способ апскейла: неизвестен («intelligent algorithms»)

    Интерфейс плагина Instant 4K в окне программы Adobe Premiere 2019, в верхнем левом углу.

    Выбираем целевое разрешение (можно указать свое), выбираем тип фильтра (не вижу причин выбирать что-то отличное от Best), меняем или оставляем стандартным Sharpness (резкость), Quality (качество) и Anti-Aliasing (сглаживание), после чего экспортируем видеофайл и наслаждаемся результатом.

    Работает достаточно быстро, практически не нагружает GPU и CPU больше обычного экспорта. Неделю назад был моим стандартным плагином для апскейла видео. Вносит не характерные для простых математических фильтров изменения в детали картинки, поэтому скорее всего является ИИ. По скорости занимает второе место.

    Позволяет видеть результат до просчета видео, корректировать настройки. Для плавного воспроизведения требует просчета, изменения видны в окне просмотра спустя пару секунд после изменения настроек.

  • Фильтр Ланцоша (известный многим как Lanczos).

    Платный: нет.

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): да, в составе плагина Voukoder.

    Настройки качества: отсутствует.

    Время обработки 914 кадров INTRO: 54 секунды (в 1,13 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее сведение кадров обратно в видео.

    Способ апскейла: не-ИИ.

    Пример строки для апскейла видеофайла из под Windows:

    ffmpeg -framerate 23.976 -i input.mp4 -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -vf scale=3840:2160 -sws_flags lanczos+full_chroma_inp -r 23.976 lanczos.mkv


    Предварительный просмотр отсутствует, как и настройки. Возможна работа непосредственно с видео, без разложения его на кадры. Прекрасно работает из ffmpeg. Работает быстрее всех остальных, только на CPU.

  • Adobe Photoshop Сохранение деталей 2.0

    Платный: да.

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.

    Настройки качества: имеется параметр «уменьшить шум», установлен на 100%, как и у автора статьи.

    Время обработки 914 кадров INTRO: 3840 секунд (в 80 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее их сведение обратно в видео.

    Способ апскейла: неизвестен.


    Требует начальной настройки в виде создания шаблона «открыть файл — изменить размер — сохранить файл», очень много времени тратит непосредственно на открытие файлов и их сохранение: сказывается выбранный формат кадров — PNG, работает на CPU. Предпоследний по скорости.

    Позволяет посмотреть получившийся результат до увеличения изображения и его сохранения.

    У неопытного пользователя могут возникнуть проблемы с изменением цветового пространства: перепроверяйте цветовой профиль после сохранения изображения, сравнивайте цвета оригинального изображения и апскейла. Скорее всего, вам подойдет цветовой профиль sRGB IEC61966-2.1.

  • Topaz Gigapixel AI

    Платный: да (99$).

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.

    Настройки качества: Suppress Noise и Remove Blur. Кроме того, возможно включение и отключение «ИИ моделей максимального качества». В нашем сравнении эти модели включены.

    Время обработки 914 кадров INTRO: 7680 секунд (в 160 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее сведение кадров обратно в видео.

    Способ апскейла: ИИ.


    Достаточно приятный интерфейс с превью результата, имеет полнофункциональный триал в 30 дней, очень сильно нагружает видеокарту и работает, фактически, только на ней. При желании, можно запустить на CPU. По сравнению с остальными — самый медленный.

  • Waifu2x с профилем UpResNet10

    Платный: нет.

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.

    Настройки качества: под Windows имеется waifu2x-caffe, позволяет выбрать профиль и настроить силу «шумодава» (Off / 1 / 2 / 3). Экспериментальным путем был выбрал профиль UpResNet10, как показывающий наилучший результат. Шумодав установлен на уровень AUTO 1.

    Время обработки 914 кадров INTRO: 879 секунд (в 18 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее сведение кадров обратно в видео.

    Способ апскейла: ИИ.


    Простой интерфейс, работает на GPU, могут возникнуть дополнительные сложности при первоначальной настройке (мне пришлось установить cuDNN, заняло 10-15 минут времени). При желании, можно запустить на CPU. Середнячок по скорости, обгоняет только Photoshop и Topaz.

Это далеко не полный список программ, которые подходят для апскейла видео, и в следующей статье я постараюсь добавить еще больше способов. Предлагайте ваши варианты в комментариях!
↑ Назад к содержанию

4.1 Файл 1: «INTRO»:

Первый отрывок: компьютерная графика.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Основные отличия: качество обработки текста и отметок на карте, в том числе сетки по всему кадру, а также сохранение формы «прицела» в центре кадра.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь. Я рекомендую просматривать видео и кадры локально, а не со страницы Google Drive.
Полноразмерные 4К сэмплы в кодеке H.265 лежат здесь (~100МБ каждый).

Анимированное сравнение центра кадра: MP4 H.264, WEBP.

Начнем с прицела в центре. Красный квадрат: обращаем внимание на поведение двух пересекающихся линий. Поскольку мы (местами) имеем дело с ИИ, ищем нежелательные искажения. Instant 4K внес в этот квадрат достаточно сильные изменения, за что получает от меня минус в карму. Все остальные методы повели себя примерно одинаково, самый четкий результат – у Photoshop. Topaz – на втором месте. UpResNet10, к сожалению, заметил артефакты сжатия и любезно решил их увеличить. Lanczos же фактически не отличается от обычного увеличения.

Синий квадрат: следим за формой кругов, надеемся на как можно более гладкий круг. Instant 4K снова добавил «отсебятины» и сгладил круг, убрав пропуск в нижней его части. Однако, в этот раз, за это от меня получает плюс. Тем не менее, лучший результат – у Photoshop. UpResNet10 вывел поверх круга слишком много деталей (сетку), что может восприниматься как артефакты.

Анимированное сравнение текста: MP4 H.264, WEBP.

Переходим к тексту: Lanczos сделал его более жирным, за что получает минус. UpResNet10 снова увлекается сеткой, и снова показывает себя хуже конкурентов. Больше всего мне понравился текст, который выдал Topaz. Впрочем, он примерно равен результатам остальных методов – тут уже дело вкуса. Готовых простить Instant 4K за «додумывания» может больше всего удовлетворить выданный им текст, остальные, полагаю, разделятся между Topaz и Photoshop. Последний, на мой вкус, все же «мыльноват».

Анимированное сравнение сетки на карте: MP4 H.264, WEBP.

Последняя точка – сетка на карте. Здесь все показали себя более или менее одинаково, за исключением двух отличившихся — UpResNet10 и Topaz. Topaz убил целую кучу точек и почти все детали. UpResNet10, напротив, вывел точки там, где их раньше практически не было видно. Лично меня оба эти варианта не устраивают, поэтому победу «за точки» я делю между Instant 4K и Photoshop.

В общем и целом, на статичной карте из компьютерной графики победителем является Photoshop, второе место уходит Instant 4K, третье – UpResNet10 (все же мы хотим от 4К больше деталей, и он нам их дал, хоть и сомнительного качества). Topaz убил слишком много деталей, в то время как Lanczos банально слишком мало отличалется от билинейной интерполяции.

Смотрим следующий кадр: середина анимации с движением.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

На первый взгляд, картина ожидаемая: все варианты, кроме Lanczos, выдали более четкое изображение. Особое внимание уделим деталям у Topaz, потому что он больше всех изменил картинку. Изучим реального, не нарисованного актера, и детали его одежды, а также текст.

Анимированное сравнение актера: MP4 H.264, WEBP.

Что касается актера, то отличия здесь действительно минимальны: хотя в прошлый раз UpResNet10 и выводил (порой лишние) детали, которые раньше было плохо видно, в этот раз он разве что повысил резкость диагональной сетки снизу. Отличия между Photoshop, Lanczos и Instant 4K реально надо искать под лупой, даже 400% увеличения недостаточно для того, чтобы заметить отличия. В целом, Photoshop и Instant 4K выдали чуть более резкую картинку. Instant 4K снова занимается самодеятельностью – в красном квадрате у актера изменился воротник рубашки. Впрочем, какое-то реальное отличие от просто увеличения заметно разве что у Topaz: поубавился цветовой шум около полос, а также это единственная программа, у которой в синем квадрате наблюдается увеличение резкости.

Анимированное сравнение текста: MP4 H.264, WEBP.

Перемещаемся ниже, к тексту: здесь Photoshop уступил всем остальным способам увеличения и выдал картинку, идентичную Lanczos. UpResNet10 и Instant 4K прибавили резкости, но и внесли немного «отсебятины» в форму букв. Самую четкую картинку снова выдал Topaz, выделив при этом рваность букв (хорошо это или плохо – решать вам) и незначительные артефакты сжатия. Цветовой шум снова уменьшился, а большие буквы сверху не идут в сравнение с остальными способами увеличения.

Последний кадр из отрезка: кадр из сериала с наложенной поверх него компьютерной графикой.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Анимированное сравнение лица актера: MP4 H.264, WEBP.

Мы рассмотрим в увеличении только лицо актера справа: Topaz прибавил резкости и очень хорошо выделил сетку, в результате лицо актера получилось очень четким. Instant 4K и UpResNet10 сделали тоже самое, но убрали меньше размытия (блюра). Photoshop уступил и им, обогнав разве что Lanczos. В целом, никто не потерял никаких деталей, и Instant 4K не внес лишних изменений.

По трем выбранным кадрам, победителем для меня стал Topaz. Несмотря на кучу потерянных деталей в первом кадре, он отыгрался на двух последних. Второе место занял Instant 4K, за более или менее стабильное увеличение резкости во всех трех кадрах, несмотря на незначительные изменения. Третье – за UpResNet10. В первом кадре показал картинку, которая мне не понравилась, но в последних двух выдал хорошее увеличение резкости. Photoshop начал хорошо в первом кадре, но на последних двух почти не отличался от обычного увеличения. Lanczos без шарпинга почти ничем не отличается от билинейной интерполяции на всех трех кадрах.

Посмотрим, что на это скажут MITSU и VMAF:

Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше.

Результат анализа VMAF (полный размер), больше — лучше.

MITSU сообщает, что меньше всего блюра содержат в себе кадры, обработанные Topaz. Тем не менее, все остальные способы апскейла, включая Lanczos, продемонстрировали улучшение показателя Blur и перешли границу 5 баллов, числа ниже которой говорят нам о том, что видео не имеет лишнего размытия. То есть все способы апскейла улучшили четкость изображения.

Что касается шума, то здесь картина обратная – меньше всего шума у оригинальной картинки, больше всего – у Topaz. В принципе, это логично, потому что:

  1. Часть шума действительно могла быть неправильно классифицирована всеми программами как детали и «улучшена».
  2. Какие-то детали изображения могли быть распознаны MITSU как шум.

В любом случае, никакого заметного увеличения количества шума на картинке я не заметил, да и все значения находятся ниже границы в 3.5 балла, то есть, согласно документации MITSU, видимого шума не имеют.
Раз шум на всех кадрах у нас значительно ниже заметного, судить будем по показателю Blur.
Что касается VMAF, здесь все графики в основном находятся в максимальном значении – 100. Однако, в графике VMAF мы можем увидеть просадки – таковые, например, у Instant 4K и Topaz имеют одинаковый вид – только Topaz падает ниже. В середине графика Instant 4K заменяется на UpResNet10, который незначительно падает вместе с Topaz. Здесь же у последнего наблюдается падение значения VMAF до 77, а в конце графике у Photoshop это значение падает аж до 0. При этом никаких видимых глазу отличий, артефактов или «глюков» в этих кадрах не видно.
Итак, алгоритмы распределили программы следующим образом: на первом месте UpResNet10, на втором – Instant 4K, на третьем – Photoshop.
«Оригинальный» файл FFV1 MKV 1080P, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.
↑ Назад к содержанию

4.2 Файл 2: “Scene 1”

Второй отрывок: сцена без компьютерной графики, детали лиц и фоны.
Основные отличия: детали фона, детали лиц, артефакты на них.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Полноразмерные 4К сэмплы в кодеке H.265 лежат здесь (~97МБ каждый).

Анимированное сравнение деревьев: MP4 H.264, WEBP.

Сначала рассмотрим фон, а точнее – деревья: Instant 4K и UpResNet10 показали себя примерно одинаково, добавив немного резкости, в то время как Photoshop, напротив, потерял часть деталей, сгладив картинку. Кроме того, Instant 4K немного исказил деревья (см. красные квадраты). А вот Topaz добавил очень много резкости и сделал из мыльного фона весьма четкие деревья. Lanczos снова не отличается от билинейной интерполяции.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Анимированное сравнение актера на фоне деревьев: MP4 H.264, WEBP.

Теперь другой кадр: актер лицом к нам на фоне деревьев.

Спойлер: на деревья смотреть не нужно, они не отличаются. Поэтому изучим бокал в руке актера и его лицо.

Анимированное сравнение лица актера: MP4 H.264, WEBP.

В случае с лицом, Instant 4K и UpResNet10 снова продемонстрировали примерно одинаковые результаты, а Photoshop снова потерял часть деталей. Topaz же этих деталей добавил, хоть и не так много, как в случае с деревьями на фоне. Характерных для Instant 4K артефактов в этот раз не нашлось. Lanczos оказался незначительно более четким, чем билинейная интерполяция.

Анимированное сравнение бокала: MP4 H.264, WEBP.

Ну а в последнем сравнении, стеклянном бокале, в основном отличия были заметны в его прозрачной части без напитка. Topaz снова прибавил больше детализации, чем остальные, Photoshop снова размыл картинку (синий квадрат), а UpResNet10 и Instant 4K опять ведут себя примерно одинаково. Полная повторяемость результата.

Победителем в этом кадре без сомнений стал Topaz, добавив детализации без артефактов (!), второе место занял UpResNet10, который хотя и прибавил немного резкости, однозначно не дотянул до Topaz-а, но и не добавил артефактов, как это сделал занявший третье место Instant 4K. Photoshop занял последнее – не увеличил, а уменьшил детализацию.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Анимированное сравнение лица второго актера: MP4 H.264, WEBP.
Последний кадр из того же фрагмента: второй актер.

С деревьями, фонами и бокалами нам все ясно, поэтому здесь изучим лицо актера.

Здесь результат примерно соответствует прошлым кадрам, с одной и очень важной оговоркой: Topaz нарисовал на щеке актера нечто, что я начал замечать на 500% увеличении, а разглядеть это мне удалось лишь на 1000%: весьма неприятную «текстуру», которой там быть явно не должно. Все остальные методы отработали примерно одинаково, лишь Photoshop снова потерял детали (зато избавился от шума на белой рубашке). Последнее место за такую самодеятельность занимает Topaz, предпоследнее – Photoshop, все остальные занимают почетное «первое место».

По результатам рассмотрения всех трех кадров, скрепя сердце, но первое место занимает Topaz. Вероятно, его поведение из последнего кадра можно исправить, но на это у вас уйдет дополнительное время, и немало. Впрочем, эта деталь не очень видна на 100% масштабе, и он прекрасно показал себя в первом сравнении с деревьями, поэтому будет победителем. Второе место – за UpResNet10, за увеличение четкости без артефактов, третье – за Instant 4K, за тоже самое, но уже с артефактами. Последнее место уходит Photoshop за ухудшение четкости картинки.

А что насчет MITSU и VMAF?

Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше.

Результат анализа VMAF (полный размер), больше — лучше.

Здесь все примерно так же, как и с первым видео: меньше всего Blur у Topaz, и у него же больше всего шум. Хотя шум в очередной раз не добрался даже до 1 балла, не то что до 3,5, поэтому снова обращаем внимание на размытие, где все перешли границы дозволенных 5 баллов. Здесь заметное улучшение продемонстрировал Topaz, уменьшив Blur почти в два раза, до 6, пока остальные кучкой лежат в районе 10-12 баллов.

По графику VMAF никаких просадок не наблюдается, разве что на графике VMAF Topaz демонстрирует значительно большую неравномерность значений в соседних кадрах, нежели остальные программы. Первое место он отдал Instant 4K, второе – Topaz-у, а третье – UpResNet10.

Таким образом, первое место занимает Topaz, второе — Instant 4K, а третье – UpResNet10.

«Оригинальный» файл FFV1 MKV 1080P, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.
↑ Назад к содержанию

4.3 Файл 3: “4K Source”

Кадр из файла RED, конвертированный в FFV1 и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Полноразмерные 4К сэмплы в кодеке H.265 лежат здесь (~49МБ каждый).
Третье сравнение будет проводиться следующим образом: исходный файл с разрешением 3840х2160 в формате R3D был экспортирован из Adobe Premiere с тем же разрешением, но с фреймрейтом, уменьшенным со 120 FPS до 23.98 FPS.
После этого полученный FFV1 файл в очередной раз был уменьшен, в этот раз с помощью билинейной интерполяции, до разрешения 1920х1080, после чего полученный файл прогонялся через программу для апскейла и сравнивался с файлом FFV1 в разрешении 4К, то есть сравнение было не с билинейной интерполяцией, как в прошлые разы, а с оригинальной картинкой. Файл короткий, всего 16 секунд, поэтому сравнивать мы будем один-единственный кадр.
Первое отличие, которое бросается в глаза – цвета и яркость изображения. Я несколько раз перепроверил настройки разделения видео на кадры и последующего сбора этих кадров в видео с помощью ffmpeg: результат один – сохранить цвета и яркость неизменными не удалось ни одному алгоритму, даже Lanczos. Впрочем, яркость и цветность изображения в данном случае не играет для нас роли, поэтому смотреть мы будем на четкость изображения, а именно – детали на автомобиле, изображения и отражения.

Анимированное сравнение автомобиля: MP4 H.264, WEBP.

Instant 4K незначительно увеличил резкость всего изображения и дорисовал темное отражение над колесом. Также эту тень дорисовали все другие способы апскейла, что интересно: раньше детали «додумывал» только Instant 4K. Возможно, алгоритмы разглядели то, что плохо видно нам – переход от участка с отражением на корпусе авто. Сильнее всех постарался Topaz, убрав шум по всему изображению (что, вообще-то, не всегда хорошо, ибо часто шум добавляют\оставляют специально) и выделил детали на автомобиле, в том числе изображения. Однако, просто так убрать столько размытия не получится, поэтому во многих местах Topaz нарисовал двойные контуры – особенно на тексте (синий квадрат). UpResNet10 в этот раз разочаровал, увеличив пикселизацию некоторых частей кадра, вероятно, неправильно распознав шум как «фичи» (красный квадрат). Что характерно, похожее поведение наблюдается и у Lanczos, который никакого ИИ не имеет вовсе. Photoshop выступил крепким середнячком, уменьшив шум и не добавив особой пикселизации.

В этом сравнении, победителем для меня в очередной раз стал Topaz, второе место занял Photoshop, третье – Instant 4K.

Перейдём к рассмотрению графиков: здесь мы добавим к рассмотрению графики SSIM и PSNR, поскольку у нас есть оригинал в 4К.

Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше.

Результат анализа VMAF (полный размер), больше — лучше.

Результат анализа SSIM (полный размер), больше — лучше.

Результат анализа PSNR (полный размер), больше — лучше.

PSNR поставил на первое место Photoshop, SSIM – Lanczos, а VMAF – Topaz. Второе место PSNR и SSIM отдали UpResNet10, в то время как VMAF отдал предпочтение Instant 4K. На третьем месте у нас снова кто во что горазд, и пока PSNR ставит на третье место Lanczos, SSIM отдает его Instant 4K. VMAF – Photoshop. При этом VMAF оценивает каждый кадр Topaz в 100 баллов из 100 возможных – я проверил дважды.

MITSU снова демонстрирует привычную картину, и сообщает нам, что шум на всех результатах практически отсутствует. Что касается размытия, то тут все уже не так хорошо – большая часть апскейлеров сохранили размытость оригинала, от группы оторвались только Topaz и UpResNet10, на 4 и 2 балла соответственно. Оба не смогли добраться до заветных 5, но результат есть.

Из всех четырех метрик, больше всего совпадают с моими впечатлениями показания VMAF и MITSU, а PSNR и SSIM предпочитают «математику» ИИ. По результатам анализа однозначно победителя назвать сложно.

«Оригинальный» файл FFV1 MKV 4K, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.
↑ Назад к содержанию

4.4 Файл 4: “Youtube”

Кадр из видео Youtube, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Видео с Youtube, от начала и до конца. Исходное качество – 720Р, рисованная анимация, плюс добавлена тряска камеры. Качество – приемлемое, но оставляет желать лучшего, особенно на 4К мониторе.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Полноразмерные 4К сэмплы в кодеке H.265 лежат здесь (~265МБ каждый).

На первом же сравнении в глаза бросается отличие кадра, выданного Instant 4K: он отличается и по цвету, и по яркости. Я несколько раз экспортировал это видео из нескольких версий Adobe Premiere и проверял цветность – Instant 4K настаивал на изменении цвета при любых настройках. Итоговый результат – из версии 2019 с включенным Display Color Management.

Анимированное сравнение лица: MP4 H.264, WEBP.

Без увеличения разница заметна разве что у Instant 4K и Topaz, поэтому посмотрим поближе на лицо.

Lanczos не продемонстрировал никаких улучшений, UpResNet10, как ни странно, тоже. Photoshop уменьшил эффект блочности картинки, который появился в оригинале из-за слишком сильного сжатия, при этом не потеряв деталей. Для анимации такой метод вполне приемлем, мы убираем артефакты без увеличения резкости, в общем и целом картинка становится приятнее. Instant 4K увеличил количество артефактов и изменил цвета, присутствует также незначительно увеличение резкости, которое нивелируется появлением еще большего количества артефактов. Topaz же продемонстрировал именно то, что хотелось бы видеть от всех другие методов: артефакты практически полностью исчезли, как и эффект блочности, а резкость не идет ни в какое сравнение с оригиналом или любым другим способом апскейла. Победителем, однозначно, является Topaz, второе место уходит Phtoshop, третье делят UpResNet10 и Lanczos, потому что они хотя бы не добавили новых артефактов, в отличие от Instant 4K.

Кадр из видео Youtube, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Переходим ко второму кадру: здесь у нас есть много градиентов с артефактами, а также детали лица, в очередной раз.

Интересно будет посмотреть на то, как все методы апскейла отработали артефакты на градиентах, а также поискать нежелательные изменения. Что касается артефактов на градиенте слева (синий квадрат), на них обратили внимание только Topaz и Instant 4K. В то время как первый практически полностью избавился от этих блоков, Instant 4K снова подвел, изменив цвета и сделав артефакты заметнее., чем у Topaz. Конечно, результат все равно не идет ни в какое сравнение с остальными: там эти блоки цветут и пахнут.

Анимированное сравнение лица: MP4 H.264, WEBP.

В оригинале у нас снова размазня из макроблоков, и мы ожидаем примерно такого же результата, как в прошлом кадре. Instant 4K незначительно подправил переходы между блоками и сделал их более плавными, в то время как Photoshop преуспел в этом хуже, в отличие от первого сравнения. Впрочем, изображение после обработки Photoshop все равно стало чуть приятнее. UpResNet10, к сожалению, опять ударил в грязь лицом и совершенно не улучшил происходящее на экране, практически не отличившись от Lanczos. А вот Topaz в очередной раз прибавил четкости, убрал артефакты и не добавил новых.

Победителем здесь снова выходит Topaz, второе место – за Instant 4K (я уже смирился со сменой цветов), третье – Photoshop.

Кадр из видео Youtube, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Третий и последний кадр: здесь я специально выбрал кадр потемнее, чтобы увидеть, как все программы будут работать с артефактами на темных участках.

В первую очередь хочу обратить внимание на зеленый квадрат: мы ожидаем от всех апскейлеров уменьшения блочности в этом месте. К сожалению, наши ожидания удовлетворил тишь Topaz, остальные же, включая Photoshop, не сделали артефакты менее заметными. Instant 4K снова стреляет себе в ногу, увеличивая яркость изображения и вытягивая даже те артефакты, которых раньше мы просто не видели. Хочу отметить, что результат Topaz-а на этом кадре мне тоже не очень понравился, я считаю, что он слишком сильно смазал градиенты. Впрочем, за это он убрал практически все видимые огрехи, поэтому сравнивать его с просто не с кем – все остальные, как я уже сказал, на них практически не повлияли.

Анимированное сравнение одежды: MP4 H.264, WEBP.

Поскольку на лица мы уже насмотрелись, рассмотрим крупнее детали одежды: здесь мы наблюдаем настоящий парад макроблоков, особенно на градиентах. К сожалению, в очередной раз, ни один из апскейлеров не сделал картинку лучше, за исключением Topaz, который сгладил все градиенты и практически полностью убрал блочность, за что и занимает по результатам анализа этого кадра первое место. Второе и третье место за этот кадр назначать, как ни печально, некому.

Удивительно, но waifu2x, казалось бы, заточенный под увеличение аниме и рисунков, оказался совершенно не в состоянии реализовать свое преимущество. Для меня это стало сюрпризом.

Сравним мои впечатления с результатами анализа VMAF и MITSU, начав с первого:

Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше.

Результат анализа VMAF (полный размер), больше — лучше.

VMAF расположил все способы апскейла практически в обратном моему порядке, на первом месте Lanczos, на последнем – Topaz. У всех наблюдаются частые просадки по качеству, ниже всех по метрике VMAF падает Topaz, причем в самых продолжительных просадках за ним устремляются также и все остальные, кроме Lanczos. При этом я на этих кадрах не увидел ничего необычного.

Ну а MISTU в очередной раз демонстрирует большой отрыв Topaz-а от остальных по метрике Blur, а также незначительную прибавку Noise. Абсолютно все способы апскейла по мнению MITSU сделали картинку более четкой, а Instant 4K даже уменьшил количество невидимого для нас шума.

Первое место, таким образом, занимает Instant 4K, второе – UpResNet10, третье – Topaz.

В этот раз с VMAF я совершенно не согласен.

«Оригинальный» файл FFV1 MKV 720P, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.
↑ Назад к содержанию

5. Анализ результатов

Для определения победителя, я воспользуюсь результатами метрики VMAF и субъективными выводами о каждом файле. Метрику VMAF я просто сложу, используя среднее значение из каждого файла. Что касается субъективной оценки, здесь я обращусь к своим выводам о каждом файле, и выдам за каждый файл первому месту 3 очка, второму месту — 2, и третьему — 1. После чего эти очки я складываю и распологаю по вертикали графика.

Результат сложения VMAF и субъективного анализа (полный размер), больше — лучше.

По метрике VMAF победителем оказался Instant 4K, оторвавшись от Topaz, занявшего второе место, всего на 0.58 балла. По субъективному анализу, с другой стороны, дистанция между первым и вторым местом гораздо больше — первое место занял Topaz, оторвавшись от занявшего второе место Intsant 4K на 8 баллов, получил в 3 раза больше очков.

Победителем моего сравнения оказывается Topaz, второе место уходит Instant 4K, а третье — UpResNet10.

Однако, сравнение было бы не полным без сравнения скорости работы программ и моих замечаний к их работе. Начнем с первого:

Затраченное на обработку время и обьемы полученных файлов (полный размер)

Увеличенная детализация Topaz сказывается даже на размерах файлов, причем значительно. Как правило, файлы Topaz оказываются в 2 раза «тяжелее» файлов остальных апскейлеров, и в 4 раза «тяжелее» оригинальных файлов, увеличенных билинейной интерполяцией. Исключение составляет разве что файл «4K Source», где разница была менее 30%.

Что касается скорости работы программ, то все они, кроме Topaz и Photoshop, работают с весьма приемлемой скоростью. Впрочем, приемлемой для чего?

Что если мы захотим увеличить через Topaz фильм, длительностью в 2 часа, с частотой кадров 25 кадров в секунду? У моего компьютера на такое уйдет 421 час или 17 с половиной дней непрерывной работы. Что насчет сериала продолжительностью 40 минут? 6 дней.

Да, картина с тем же waifu2x несколько иная — 2 дня на фильм, 16 часов на серию. Считаете ли вы результат, продемонстрированный waifu2x, стоящим двух дней непрерывного рендера? На этот вопрос каждому предлагаю ответить самостоятельно.

Месяц назад для апскейла видео я использовал только и исключительно Instant 4K, для изображений (логотипов, иногда фото) waifu2x. Результат, продемонстрированный Topaz, заставил меня добавить его в свою коллекцию программ для апскейла, как минимум для увеличения изображений. Я нередко увеличиваю короткие ролики длительностью меньше 10 секунд, кроме того, он прекрасно увеличивает изображения — как рисунки, так и фотографии.

Возвращаясь к теме фильмов, в случае с Topaz я вижу только один способ решения проблемы: распределение кадров для обработки на несколько машин.

Topaz AI может работать быстрее. В чем подвох?

Отключение «ИИ моделей высокого качества» сокращает время обработки теоретического фильма на 4 дня, ценой уменьшения точности обработки цветов. Возможно, вам будет интересно знать, что на форуме Topaz многие считают эту «облегченную» модель более качественной. PNG кадры и анимированное сравнение можно посмотреть здесь.

Instant 4K работает с хорошей скоростью и демонстрирует при этом замечательный результат (лучше остальных способов, кроме Topaz, и при этом быстрее, а также банально удобнее).

Lanczos, как и ожидалось, не имеет смысла без дополнительного sharpen фильтра для увеличения резкости.

Photoshop точно не стоит затраченного на него времени, по крайней мере с использованными мной настройками. Может быть, если использовать JPEG и заменить все диски на SSD, можно добиться значительного увеличения скорости обработки.

UpResNet10, в целом, проигрывает Instant 4K. Но если вы не согласны с его самодеятельностью, можно попробовать заменить Instant 4K на UpResNet10. Лично я не считаю артефакты Instant 4K такими заметными. С другой стороны, использовать Instant 4K для увеличения изображений, как минимум странно, да и обычно вовсе неудобно. Поэтому заменить waifu2x с помощью редактора видео можно, но не нужно.

Может ли какой-то из способов апскейла быть назван универсальным? Пожалуй, да. Я думаю, что правильно настроенный Topaz может выдать стабильно лучшую картинку, чем остальные способы апскейла. Но нет бочки меда без ложки дегтя, нельзя забывать о производительности Topaz-а.
↑ Назад к содержанию

6. Новичку, желающему испытать в деле современные программы для апскейла

… я могу в первую очередь порекомендовать Instant 4K, как самый простой в использовании.

Вы просто запускаете программу, импортируете в нее свой файл, создаете из него последовательность «Sequence from Clip», заходите в ее настройки (Sequence Settings) и меняете разрешение на желаемое. После этого перетаскиваете эффект Instant 4K на вашу видеодорожку, настраиваете разрешение и дополнительные параметры и можете начинать экспорт.

К сожалению, чтобы воспользоваться этой программой, вам нужно купить или найти Adobe Premiere, а также сам плагин. Купить все это — весьма серьезное вложение средств, а советовать искать в интернете «вылеченные» программы я не могу.

Adobe Premiere недоволен моим вкусом

Хочу обратить ваше внимание на то, что Premiere работает далеко не со всеми форматами видео, и на немалую часть фильмов из Интернета будет ругаться благим матом. На этот случай, могу только посоветовать конвертировать фильм во что-нибудь вроде ProRes с помощью ffmpeg:

ffmpeg -hide_banner -probesize 1000M -i file.mkv -pix_fmt yuv420p -c:v prores_ks -c:a aac -b:a 128k file.mov

Следующей на очереди будет waifu2x: раскладываем видео на кадры с помощью BAT-файла из раздела «Подготовка материала к тестированию», открываем папку в waifu2x, выбираем параметры (увеличение до разрешения, шумоподавление) и начинаем экспорт. По его окончании вам нужно будет лишь свести кадры и звук в готовое видео. У вас могут возникнуть некоторые проблемы с настройкой, как я уже писал, лично мне пришлось искать cuDNN, кроме того, waifu2x требует достаточно мощной видеокарты.

Если вы по каким-то причинам не можете настроить waifu2x, либо у вас не хватает мощности GPU, обратитесь к Photoshop. В этой статье есть достаточно хорошая инструкция по его использованию.

Если вас удовлетворят эксперименты с изображениями, или у вас очень много лишнего времени, воспользуйтесь триалом Topaz: он будет работать со всеми функциями 30 дней. Как раз успеете до конца испытательного периода увеличить любимый фильм (но это не точно). Требования к мощной видеокарте от waifu2x распространяются и сюда. Кроме того, при использовании Topaz или waifu2x у вас могут возникнуть проблемы в работе с другими, даже простейшими программами, поскольку обе программы норовят занять GPU на 100%, делая интерфейс остальных очень тормознутым. Принцип работы — тот же, что и с waifu2x.

В трех последних случаях, я рекомендую вам заранее отделить звуковую дорожку от исходного видеофайла, любым удобным вам способом. Если это простое видео с Youtube или фильм с одной дорожкой — хорошо, подойдет простейший однострочный BAT-файл. Если же вам «повезло» экспериментировать с фильмом с дорожками 5.1 и несколькими переводами, то подобные случаи выходят далеко за пределы этой статьи. Но кто ищет, тот всегда найдет.

Образец скрипта для извлечения звука

ffmpeg -i input-video.avi -vn -acodec copy output-audio.aac 

После получения аудио одним файлом и по окончании обработки кадров апскейлером, следует свести звук и видео в один файл.Новичкам порекомендую воспользоваться скриптом из статьи про Photoshop:

ffmpeg -framerate 24 -i image-%%03d.png -i output-audio.aac -pix_fmt yuv420p -vcodec libx264 -preset veryslow -crf 15 -c:a aac -b:a 128k -r 24 test_4K.mp4

Подправлен под мой скрипт для конвертации видео в отдельные кадры. Не забудьте поменять -r и -framerate на свою частоту кадров. Также при работе с PNG не помешает указать требуемое цветовое пространство видео: -pix_fmt yuv420p

Остальным — изучить параметры и настройки H.265 (меньше размер и больше качество) и H.264 (быстрее).
Еще варианты скриптов под FFMPEG можно посмотреть в этой статье про апскейл.
↑ Назад к содержанию

7. План на следующую статью и вопросы читателям

В следующей статье я планирую добавить интерактив для субъективного тестирования, чтобы непосредственно читатели оценивали те или иные методы апскейла, для этого собираюсь использовать MSU Video Quality Measurement Tool. Но мне нужно будет понять, могу ли я свободно использовать H.265 и сжать файлы сильнее, или мне придется использовать H.264. Прошу пройти опрос внизу и отметить, может ли ваш ПК воспроизводить H.265 без потерь кадров («лагов»).
Кроме того, я планирую рассмотреть Super-Resolution Convolutional Neural Network model (SRCNN) и Efficient Sub-Pixel Convolutional Neural Network model (ESPCN).

  • В следующей статье я бы хотел повторить использование Lanczos, но добавить sharpening. Какой? Есть ли у вас пожелания или предложения по его настройке? Возможно, стоит заменить Lanczos на другой способ апскейла, например, sinc?
  • Стоит ли поменять модель waifu2x на другую? CUnet? Профиль Y? Возможно, вы в своих апскейлах с большим эффектом использовали другой?
  • Нужно ли оставить Photoshop?
  • Использовать «медленную, но качественную» модель Topaz, либо «быструю, но не качественную»?
  • Возможно, у вас есть предложения по исходным видео для тестирования?
  • Оставить или убрать MITSU? Возможно, поменять метрики, например Noise на Blockiness?

Бонусный франкенштейн от Topaz:
Один из двух кадров, испорченных Topaz при обработке исходного материала.

↑ Назад к содержанию

что это в ТВ, 4K upscaling, 8K апскейл

Хотите узнать больше про апскейлинг — что это в ТВ, какие преимущества дает функция, стоит ли за неё переплачивать при покупке телевизора? В обзоре получите ответы на перечисленные вопросы.

Повышение качества картинки

Upscaling — масштабирование изображение, позволяющее увеличить количество пикселей в исходном сигнале для увеличения детализации контента. Такое определение максимально точно описывает суть апскейла в современных ТВ-устройствах.

Еще 10 лет назад максимальным разрешением экрана считалось Full HD (1920 x 1080 px), но телевизионные каналы вещали сигнал максимум в HD-формате (1280 х 720), а большая часть каналов транслировалась в SD (480p, 576i).

Когда человек приходил в магазин, чтобы выбрать современный телевизор, то ему навязывались дорогие модели последнего поколения. В демонстрационном режиме картинка была изумительной — ведь к ТВ подключались специальные медиа-проигрыватели с высококачественными видео. Но при попытке переключения на аналоговое, спутниковое вещание — изображение становилось мрачным и смазанным. Как результат, покупатели отказывались от приобретения новинок и отдавали предпочтение ЭЛТ-моделям (с кинескопом).

Производители быстро среагировали на подобный факт и начали внедрять в устройства технологии масштабирования (апскейлинга). Их суть сводилась к следующему: какого бы разрешения не был входящий сигнал, на экран он выводился в оптимизированном виде, чтобы задействовать каждый пиксель матрицы. То есть, 480 превращалось в 1080 программным путём — за счет интеллектуального анализа и дорисовки промежуточных пикселей.

Поначалу технология была сырой и давала не самый лучший результат. Вот HD в FullHD преобразовывалось отлично. А форматы более низкого разрешения всё равно отображались смазано. Далее за дело взялись телевизионные компании и прочие поставщики контента (потоковые сервисы) — они провели модернизацию оборудования, позволившую транслировать передачи, фильмы в улучшенном разрешении.

Это длилось более 5 лет, пока на арену не вышел «новый игрок»…

Автор рекомендует:


4K upscaling уже в прошлом!

Очень быстро обрели популярность телевизоры с 4K экранами, которые представлены преимущественно большими диагоналями (от 40 дюймов). И снова появилась необходимость в масштабировании, ведь выдавать более высокое разрешение (3840 х 2160) могут лишь некоторые игровые консоли (к примеру, Playstation 4 Pro), Blu-Ray проигрыватели, а с недавних пор — и платные онлайн-кинотеатры.

Даже смотреть телевизионные каналы стало намного приятнее на таких устройствах. Картинка выглядит четкой, насыщенной, искажения заметны только в динамических сценах (спортивные матчи) с резкими движениями. Но и здесь производители постарались — они оптимизировали встроенные схемы настройки изображения (кино, спорт, игры), чтобы максимально улучшить картинку при просмотре того или иного контента. Достаточно на пульте выбрать подходящий режим, и недостатки апскейлинга будут скрыты умными алгоритмами телевизора.

Но и это не предел! В 2018 году на технологических выставках ведущие мировые компании начали показывать свои новые модели с матрицами 8K (7680×4320)!

Детализация и реалистичность картинки — очень впечатляет. Пока трудно отыскать контент подобного формата, а наслаждаться демонстрационными роликами — нет смысла.

Развитие техники столь стремительно, что оглянуться не успеем, как фильмы, ТВ-программы с ультравысоким разрешением станут массовыми. Но до того времени, скорее всего, уже появятся более продвинутые телевизоры. Если в развитых странах этот процесс более сглажен и синхронизирован, то на постсоветском пространстве ярко выражено некоторое отставание. Люди пока не готовы платить за дорогостоящий контент по несколько тысяч в месяц, приобретать приставки и прочие медиа-устройства.

Поэтому, пока нас выручает апскейлинг до 4K. Масштабирование на телевизоре не только дорисовывает недостающие пиксели, но также сглаживает неровности контуров, убирает размытость в движении, расширяет цветовой диапазон, интеллектуально управляет подсветкой матрицы. Смотрится не идеально, но терпимо.

Платить ли за эту возможность — решать Вам. Но если раньше она присутствовала лишь в некоторых моделях, то сейчас интегрируется практически в каждую единицу видео-техники. Так что и отказаться от неё не сильно получиться, если намерены приобрести современный ТВ.

Увеличение видео 1080P до 4К, или Как я научился не волноваться и полюбил апскейл с помощью нейросетей

Читая недавно очередную статью про апскейл (Upscale — масштабирование изображения до более высокого разрешения), на этот раз про коммерческий продукт Topaz AI Gigapixel, я оставил комментарий следующий содержания:

Жаль, что пост — простой перевод, хотелось бы сравнения с чем-нибудь бесплатным, вроде того же waifu2x. Полагаю, разницу найти будет очень сложно, даже несмотря на то, что waifu2x предназначена для анимации.

Ну а раз статья была переводом, я решил взять дело в свои руки. Итак, не будем тратить времени, знакомьтесь:

  • Red Giant Shooter Instant 4K
  • Фильтр Ланцоша (известный многим как Lanczos)
  • Билинейная интерполяция (как референс)
  • Adobe Photoshop Сохранение деталей 2.0
  • Topaz Gigapixel AI
  • Waifu2x с профилем UpResNet10

Под катом лонгрид, а также гайды по апскейлу видео с помощью Instant 4K, Waifu2x, Lanczos и Topaz Gigapixel AI.


Сравнивать их мы будем, используя собственные глаза, ведь под разнообразные решения для анализа изображения картинку можно оптимизировать, выиграв «лишние» проценты… Однако, отказываться от последних мы тоже не будем, поэтому к результатам в виде скриншотов будут добавлены результаты анализа MITSU и VMAF, так как обе программы работают с видео без образца. SSIM, PSNR и прочие нам в данном случае не подойдут, ведь у нас нет реального 4К, с которым результаты апскейла можно сравнить.

  • Подготовка материала к тестированию
  • Выбор материала для тестирования
  • Выбранные для тестирования программы
  • Анализ видео:
  • Файл 1: «INTRO»:
  • Файл 2: «SCENE 1»:
  • Файл 3: «4K SOURCE»:
  • Файл 4: «YOUTUBE»:
  • Анализ результатов
  • Новичку, желающему испытать в деле современные программы для апскейла
  • План на следующую статью и вопросы читателям

Все файлы из статьи, включая PNG кадры без сжатия, анимированные сравнения, 4К H.265 сэмплы, таблицы и FFV1 файлы лежат на Google. Зеркало на Яндекс. Там же лежат 3 простых видеогайда по использованию Adobe Premiere Instant 4K, Waifu2x и Topaz.Конфигурация тестового стенда:

CPU: Intel Core i7-4980HQ 4.2 ГГц

Материнская плата: MSI Z97 GAMING 5
(не спрашивайте)

ОЗУ: 32 Гб DDR3 2400

GPU: NVIDIA GTX 1080ti FE 11GB, частота ядра установлена вручную на 1923, частота памяти — 5602.

СХД: система и программы на SSD M.2 SATA 850 EVO 250GB, файлы на HDD 2 ТБ WDC WD40EZRZ.

Апскейл производился по следующему сценарию:

  • Если выбранный метод поддерживал работу напрямую из редактора видео Adobe Premiere, то вся работа происходила в этом редакторе, после чего результат экспортировался в кодеке FFV1 с параметром GOP 1, чтобы избежать любых потерь и использовать исключительно обратимую компрессию изображения.
  • Если выбранный метод не поддерживал работу из редактора видео, то видео раскладывалось на отдельные кадры в формате PNG с помощью простого bat-файла:BAT-файл для сохранения отдельных кадров в папку frames
    wmic process where name="cmd.exe" CALL setpriority 16384
    @echo off
    :hugly
    if "%~1" EQU "" goto mugly
    ffmpeg -probesize 1000M -i "%~1" -vsync vfr frames\image-%%03d.png
    shift
    goto hugly
    :mugly
    pause

    Для разложения видео на кадры достаточно положить этот файл в папку к ffmpeg.exe и создать папку frames, после чего банально перетащить видео-файл прямо на bat-файл.После этого, обработанные кадры были отправлены в FFMPEG на сведение, и экспортировались с точно такими же настройками, как и в первом случае.BAT-файл для сведения отдельных кадров в файл, без звука

    ffmpeg -framerate 24 -i image-%%03d.png -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -r 24 photoshop.mkv

    Параметры -framerate и -r отвечают за установку частоты кадров видео, должны быть указаны оба.

В обоих случаях, на выходе я получал файл MKV с кодеком FFV1, размером примерно 700 мегабайт на каждые 10 секунд видео.Результат анализа одного из файлов с помощью MediaInfo

General

Unique ID: 116184020412676472870756705294056286853 (0x57683A783D4732308C09451184B9EA85)

Complete name: D:\HABR\4K SOURCE\topaz.mkv

Format: Matroska

Format version: Version 4

File size: 1.21 GiB

Duration: 16 s 475 ms

Overall bit rate mode: Variable

Overall bit rate: 630 Mb/s

Writing application: Voukoder 1.2.1 (Premiere) — www.voukoder.org

Writing library: Lavf58.12.100

ErrorDetectionType: Per level 1

Video

ID: 1

Format: FFV1

Format version: Version 3.4

Format settings, GOP: N=1

Codec ID: V_MS/VFW/FOURCC / FFV1

Duration: 16 s 475 ms

Bit rate mode: Variable

Bit rate: 618 Mb/s

Width: 3 840 pixels

Height: 2 160 pixels

Display aspect ratio: 16:9

Frame rate mode: Constant

Frame rate: 23.976 (24000/1001) FPS

Color space: YUV

Chroma subsampling: 4:2:0

Bit depth: 8 bits

Scan type: Progressive

Compression mode: Lossless

Bits/(Pixel*Frame): 3.107

Stream size: 1.19 GiB (98%)

Default: Yes

Forced: No

Color range: Limited

Color primaries: BT.709

Transfer characteristics: BT.709

Matrix coefficients: BT.709

coder_type: Golomb Rice

MaxSlicesCount: 12

ErrorDetectionType: Per slice

После чего каждый из файлов был открыт в MPC-HC с целью сделать скриншоты, а потом — отправлялся на анализ в ffmpeg с помощью, в очередной раз, bat-файла:Для работы этого скрипта ffmpeg должен быть собран с поддержкой libvmaf!

ffmpeg.exe -i instant_4k.mkv -i A016_C001_02073O_001.mkv -lavfi libvmaf=model_path=vmaf_4k_v0.6.1.pkl:log_path=vmaf.log:log_fmt=json:psnr=1:ssim=1:ms_ssim=1 -f null -

FFMPEG с поддержкой VMAF можно скачать по моим ссылкам на Google и Яндекс выше.

MITSU же, в свою очередь, в настройке не нуждался, готовые bat-файлы требуют небольшой доработки напильником (я указал полные пути до ffprobe и ffmpeg, а также поместил в папку с исполняемым файлом cygwin1.dll).

Полученные данные были импортированы в Excel и превращены в красивые и не очень графики.

FFV1 файлы также были сконвертированы в mp4 с кодеком h365 (для того, чтобы минимизировать размер файлов сохранив максимум деталей) с VBR 25000 кбит\с и отключенным SAO, в надежде достигнуть адекватного качества.

↑ Назад к содержанию

В данной статье мы рассматриваем разнообразные примеры: фрагменты из сериала в 1080Р, рисованная анимация и даже 4К видео, снятое на профессиональную камеру, чтобы получить объективные результаты для различных случаев использования рассматриваемых программ.

Были обработаны следующие типы видео:

  • Сцена из сериала «Person of Interest», S02E20, интро: много компьютерной графики, много движения и смен планов.
  • Сцена из той же серии сериала: мало движения, несколько смен планов и много деталей на заднем и переднем плане, от веток деревьев до деталей лиц.

    Обе сцены взяты из одного файла с разрешением 1920х1080 (Full HD), кодек H.264, битрейт — 12664 кбит в секунду. Это достаточно хорошее исходное качество для сериала. Сравнение результата апскейла производилось с файлом, увеличенным с помощью простейшей билинейной интерполяции (она указана в списке, как референс).

  • Пример видео с сайта RED.com: реальный 4K HD (3840×2160), снятый в 120FPS. Видео было уменьшено до 1920х1080 с помощью Lanczos, а потом увеличено до 4К с помощью программ из списка выше. Фреймрейт был уменьшен до ~24 кадров в секунду. Сравнение результата производилось с исходным файлом, конвертированным из RED файла в уже привычный нам FFV1 (ffmpeg отказывается работать с RED-файлами).
  • Рисованная анимация «Священная книга оборотня», скачано с YouTube, искусственная тряска «камеры», много смен планов. Исходный файл в разрешении 1280х720, контейнер WEBM, кодек VP9, битрейт 1556 кбит\с. Это весьма низкое качество, но вполне обычное явление на YouTube.

↑ Назад к содержаниюИзучим каждый из способов апскейла немного детальнее:

  • Red Giant Shooter Instant 4K 13.1.5

    Платный: да (99$).

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): да.

    Настройки качества: Filter Type — Best, Sharpness 2, Quality 25 (максимум), Anti-aliasing 6. Это стандартные настройки, за исключением Quality — он был установлен на максимум вручную.

    Время обработки 914 кадров INTRO: 532 секунды (в 11 раз дольше обычного экспорта).

    Способ апскейла: неизвестен («intelligent algorithms»)

    Интерфейс плагина Instant 4K в окне программы Adobe Premiere 2019, в верхнем левом углу.

    Выбираем целевое разрешение (можно указать свое), выбираем тип фильтра (не вижу причин выбирать что-то отличное от Best), меняем или оставляем стандартным Sharpness (резкость), Quality (качество) и Anti-Aliasing (сглаживание), после чего экспортируем видеофайл и наслаждаемся результатом.

    Работает достаточно быстро, практически не нагружает GPU и CPU больше обычного экспорта. Неделю назад был моим стандартным плагином для апскейла видео. Вносит не характерные для простых математических фильтров изменения в детали картинки, поэтому скорее всего является ИИ. По скорости занимает второе место.

    Позволяет видеть результат до просчета видео, корректировать настройки. Для плавного воспроизведения требует просчета, изменения видны в окне просмотра спустя пару секунд после изменения настроек.

  • Фильтр Ланцоша (известный многим как Lanczos).

    Платный: нет.

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): да, в составе плагина Voukoder.

    Настройки качества: отсутствует.

    Время обработки 914 кадров INTRO: 54 секунды (в 1,13 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее сведение кадров обратно в видео.

    Способ апскейла: не-ИИ.

    Пример строки для апскейла видеофайла из под Windows:

    ffmpeg -framerate 23.976 -i input.mp4 -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -vf scale=3840:2160 -sws_flags lanczos+full_chroma_inp -r 23.976 lanczos.mkv

    Предварительный просмотр отсутствует, как и настройки. Возможна работа непосредственно с видео, без разложения его на кадры. Прекрасно работает из ffmpeg. Работает быстрее всех остальных, только на CPU.

  • Adobe Photoshop Сохранение деталей 2.0

    Платный: да.

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.

    Настройки качества: имеется параметр «уменьшить шум», установлен на 100%, как и у автора статьи.

    Время обработки 914 кадров INTRO: 3840 секунд (в 80 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее их сведение обратно в видео.

    Способ апскейла: неизвестен.


    Требует начальной настройки в виде создания шаблона «открыть файл — изменить размер — сохранить файл», очень много времени тратит непосредственно на открытие файлов и их сохранение: сказывается выбранный формат кадров — PNG, работает на CPU. Предпоследний по скорости.

    Позволяет посмотреть получившийся результат до увеличения изображения и его сохранения.

    У неопытного пользователя могут возникнуть проблемы с изменением цветового пространства: перепроверяйте цветовой профиль после сохранения изображения, сравнивайте цвета оригинального изображения и апскейла. Скорее всего, вам подойдет цветовой профиль sRGB IEC61966-2.1.

  • Topaz Gigapixel AI

    Платный: да (99$).

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.

    Настройки качества: Suppress Noise и Remove Blur. Кроме того, возможно включение и отключение «ИИ моделей максимального качества». В нашем сравнении эти модели включены.

    Время обработки 914 кадров INTRO: 7680 секунд (в 160 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее сведение кадров обратно в видео.

    Способ апскейла: ИИ.


    Достаточно приятный интерфейс с превью результата, имеет полнофункциональный триал в 30 дней, очень сильно нагружает видеокарту и работает, фактически, только на ней. При желании, можно запустить на CPU. По сравнению с остальными — самый медленный.

  • Waifu2x с профилем UpResNet10

    Платный: нет.

    Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.

    Настройки качества: под Windows имеется waifu2x-caffe, позволяет выбрать профиль и настроить силу «шумодава» (Off / 1 / 2 / 3). Экспериментальным путем был выбрал профиль UpResNet10, как показывающий наилучший результат. Шумодав установлен на уровень AUTO 1.

    Время обработки 914 кадров INTRO: 879 секунд (в 18 раз дольше обычного экспорта), без учета времени на конвертирование видео в отдельные кадры и последующее сведение кадров обратно в видео.

    Способ апскейла: ИИ.


    Простой интерфейс, работает на GPU, могут возникнуть дополнительные сложности при первоначальной настройке (мне пришлось установить cuDNN, заняло 10-15 минут времени). При желании, можно запустить на CPU. Середнячок по скорости, обгоняет только Photoshop и Topaz.

Это далеко не полный список программ, которые подходят для апскейла видео, и в следующей статье я постараюсь добавить еще больше способов. Предлагайте ваши варианты в комментариях!
↑ Назад к содержанию

4.1 Файл 1: «INTRO»:

Первый отрывок: компьютерная графика.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Основные отличия: качество обработки текста и отметок на карте, в том числе сетки по всему кадру, а также сохранение формы «прицела» в центре кадра.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь. Я рекомендую просматривать видео и кадры локально, а не со страницы Google Drive.
Полноразмерные 4К сэмплы в кодеке H.265 лежат здесь (~100МБ каждый).

Анимированное сравнение центра кадра: MP4 H.264, WEBP.

Начнем с прицела в центре. Красный квадрат: обращаем внимание на поведение двух пересекающихся линий. Поскольку мы (местами) имеем дело с ИИ, ищем нежелательные искажения. Instant 4K внес в этот квадрат достаточно сильные изменения, за что получает от меня минус в карму. Все остальные методы повели себя примерно одинаково, самый четкий результат – у Photoshop. Topaz – на втором месте. UpResNet10, к сожалению, заметил артефакты сжатия и любезно решил их увеличить. Lanczos же фактически не отличается от обычного увеличения.

Синий квадрат: следим за формой кругов, надеемся на как можно более гладкий круг. Instant 4K снова добавил «отсебятины» и сгладил круг, убрав пропуск в нижней его части. Однако, в этот раз, за это от меня получает плюс. Тем не менее, лучший результат – у Photoshop. UpResNet10 вывел поверх круга слишком много деталей (сетку), что может восприниматься как артефакты.

Анимированное сравнение текста: MP4 H.264, WEBP.

Переходим к тексту: Lanczos сделал его более жирным, за что получает минус. UpResNet10 снова увлекается сеткой, и снова показывает себя хуже конкурентов. Больше всего мне понравился текст, который выдал Topaz. Впрочем, он примерно равен результатам остальных методов – тут уже дело вкуса. Готовых простить Instant 4K за «додумывания» может больше всего удовлетворить выданный им текст, остальные, полагаю, разделятся между Topaz и Photoshop. Последний, на мой вкус, все же «мыльноват».

Анимированное сравнение сетки на карте: MP4 H.264, WEBP.

Последняя точка – сетка на карте. Здесь все показали себя более или менее одинаково, за исключением двух отличившихся — UpResNet10 и Topaz. Topaz убил целую кучу точек и почти все детали. UpResNet10, напротив, вывел точки там, где их раньше практически не было видно. Лично меня оба эти варианта не устраивают, поэтому победу «за точки» я делю между Instant 4K и Photoshop.

В общем и целом, на статичной карте из компьютерной графики победителем является Photoshop, второе место уходит Instant 4K, третье – UpResNet10 (все же мы хотим от 4К больше деталей, и он нам их дал, хоть и сомнительного качества). Topaz убил слишком много деталей, в то время как Lanczos банально слишком мало отличалется от билинейной интерполяции.

Смотрим следующий кадр: середина анимации с движением.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

На первый взгляд, картина ожидаемая: все варианты, кроме Lanczos, выдали более четкое изображение. Особое внимание уделим деталям у Topaz, потому что он больше всех изменил картинку. Изучим реального, не нарисованного актера, и детали его одежды, а также текст.

Анимированное сравнение актера: MP4 H.264, WEBP.

Что касается актера, то отличия здесь действительно минимальны: хотя в прошлый раз UpResNet10 и выводил (порой лишние) детали, которые раньше было плохо видно, в этот раз он разве что повысил резкость диагональной сетки снизу. Отличия между Photoshop, Lanczos и Instant 4K реально надо искать под лупой, даже 400% увеличения недостаточно для того, чтобы заметить отличия. В целом, Photoshop и Instant 4K выдали чуть более резкую картинку. Instant 4K снова занимается самодеятельностью – в красном квадрате у актера изменился воротник рубашки. Впрочем, какое-то реальное отличие от просто увеличения заметно разве что у Topaz: поубавился цветовой шум около полос, а также это единственная программа, у которой в синем квадрате наблюдается увеличение резкости.

Анимированное сравнение текста: MP4 H.264, WEBP.

Перемещаемся ниже, к тексту: здесь Photoshop уступил всем остальным способам увеличения и выдал картинку, идентичную Lanczos. UpResNet10 и Instant 4K прибавили резкости, но и внесли немного «отсебятины» в форму букв. Самую четкую картинку снова выдал Topaz, выделив при этом рваность букв (хорошо это или плохо – решать вам) и незначительные артефакты сжатия. Цветовой шум снова уменьшился, а большие буквы сверху не идут в сравнение с остальными способами увеличения.

Последний кадр из отрезка: кадр из сериала с наложенной поверх него компьютерной графикой.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Анимированное сравнение лица актера: MP4 H.264, WEBP.

Мы рассмотрим в увеличении только лицо актера справа: Topaz прибавил резкости и очень хорошо выделил сетку, в результате лицо актера получилось очень четким. Instant 4K и UpResNet10 сделали тоже самое, но убрали меньше размытия (блюра). Photoshop уступил и им, обогнав разве что Lanczos. В целом, никто не потерял никаких деталей, и Instant 4K не внес лишних изменений.

По трем выбранным кадрам, победителем для меня стал Topaz. Несмотря на кучу потерянных деталей в первом кадре, он отыгрался на двух последних. Второе место занял Instant 4K, за более или менее стабильное увеличение резкости во всех трех кадрах, несмотря на незначительные изменения. Третье – за UpResNet10. В первом кадре показал картинку, которая мне не понравилась, но в последних двух выдал хорошее увеличение резкости. Photoshop начал хорошо в первом кадре, но на последних двух почти не отличался от обычного увеличения. Lanczos без шарпинга почти ничем не отличается от билинейной интерполяции на всех трех кадрах.

Посмотрим, что на это скажут MITSU и VMAF:

Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше.

Результат анализа VMAF (полный размер), больше — лучше.

MITSU сообщает, что меньше всего блюра содержат в себе кадры, обработанные Topaz. Тем не менее, все остальные способы апскейла, включая Lanczos, продемонстрировали улучшение показателя Blur и перешли границу 5 баллов, числа ниже которой говорят нам о том, что видео не имеет лишнего размытия. То есть все способы апскейла улучшили четкость изображения.

Что касается шума, то здесь картина обратная – меньше всего шума у оригинальной картинки, больше всего – у Topaz. В принципе, это логично, потому что:

  1. Часть шума действительно могла быть неправильно классифицирована всеми программами как детали и «улучшена».
  2. Какие-то детали изображения могли быть распознаны MITSU как шум.

В любом случае, никакого заметного увеличения количества шума на картинке я не заметил, да и все значения находятся ниже границы в 3.5 балла, то есть, согласно документации MITSU, видимого шума не имеют.
Раз шум на всех кадрах у нас значительно ниже заметного, судить будем по показателю Blur.
Что касается VMAF, здесь все графики в основном находятся в максимальном значении – 100. Однако, в графике VMAF мы можем увидеть просадки – таковые, например, у Instant 4K и Topaz имеют одинаковый вид – только Topaz падает ниже. В середине графика Instant 4K заменяется на UpResNet10, который незначительно падает вместе с Topaz. Здесь же у последнего наблюдается падение значения VMAF до 77, а в конце графике у Photoshop это значение падает аж до 0. При этом никаких видимых глазу отличий, артефактов или «глюков» в этих кадрах не видно.
Итак, алгоритмы распределили программы следующим образом: на первом месте UpResNet10, на втором – Instant 4K, на третьем – Photoshop.
«Оригинальный» файл FFV1 MKV 1080P, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.
↑ Назад к содержанию

4.2 Файл 2: “Scene 1”

Второй отрывок: сцена без компьютерной графики, детали лиц и фоны.
Основные отличия: детали фона, детали лиц, артефакты на них.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Полноразмерные 4К сэмплы в кодеке H.265 лежат здесь (~97МБ каждый).

Анимированное сравнение деревьев: MP4 H.264, WEBP.

Сначала рассмотрим фон, а точнее – деревья: Instant 4K и UpResNet10 показали себя примерно одинаково, добавив немного резкости, в то время как Photoshop, напротив, потерял часть деталей, сгладив картинку. Кроме того, Instant 4K немного исказил деревья (см. красные квадраты). А вот Topaz добавил очень много резкости и сделал из мыльного фона весьма четкие деревья. Lanczos снова не отличается от билинейной интерполяции.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Анимированное сравнение актера на фоне деревьев: MP4 H.264, WEBP.

Теперь другой кадр: актер лицом к нам на фоне деревьев.

Спойлер: на деревья смотреть не нужно, они не отличаются. Поэтому изучим бокал в руке актера и его лицо.

Анимированное сравнение лица актера: MP4 H.264, WEBP.

В случае с лицом, Instant 4K и UpResNet10 снова продемонстрировали примерно одинаковые результаты, а Photoshop снова потерял часть деталей. Topaz же этих деталей добавил, хоть и не так много, как в случае с деревьями на фоне. Характерных для Instant 4K артефактов в этот раз не нашлось. Lanczos оказался незначительно более четким, чем билинейная интерполяция.

Анимированное сравнение бокала: MP4 H.264, WEBP.

Ну а в последнем сравнении, стеклянном бокале, в основном отличия были заметны в его прозрачной части без напитка. Topaz снова прибавил больше детализации, чем остальные, Photoshop снова размыл картинку (синий квадрат), а UpResNet10 и Instant 4K опять ведут себя примерно одинаково. Полная повторяемость результата.

Победителем в этом кадре без сомнений стал Topaz, добавив детализации без артефактов (!), второе место занял UpResNet10, который хотя и прибавил немного резкости, однозначно не дотянул до Topaz-а, но и не добавил артефактов, как это сделал занявший третье место Instant 4K. Photoshop занял последнее – не увеличил, а уменьшил детализацию.

Кадр из сериала, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Анимированное сравнение лица второго актера: MP4 H.264, WEBP.
Последний кадр из того же фрагмента: второй актер.

С деревьями, фонами и бокалами нам все ясно, поэтому здесь изучим лицо актера.

Здесь результат примерно соответствует прошлым кадрам, с одной и очень важной оговоркой: Topaz нарисовал на щеке актера нечто, что я начал замечать на 500% увеличении, а разглядеть это мне удалось лишь на 1000%: весьма неприятную «текстуру», которой там быть явно не должно. Все остальные методы отработали примерно одинаково, лишь Photoshop снова потерял детали (зато избавился от шума на белой рубашке). Последнее место за такую самодеятельность занимает Topaz, предпоследнее – Photoshop, все остальные занимают почетное «первое место».

По результатам рассмотрения всех трех кадров, скрипя сердцем, но первое место занимает Topaz. Вероятно, его поведение из последнего кадра можно исправить, но на это у вас уйдет дополнительное время, и немало. Впрочем, эта деталь не очень видна на 100% масштабе, и он прекрасно показал себя в первом сравнении с деревьями, поэтому будет победителем. Второе место – за UpResNet10, за увеличение четкости без артефактов, третье – за Instant 4K, за тоже самое, но уже с артефактами. Последнее место уходит Photoshop за ухудшение четкости картинки.

А что насчет MITSU и VMAF?

Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше.

Результат анализа VMAF (полный размер), больше — лучше.

Здесь все примерно так же, как и с первым видео: меньше всего Blur у Topaz, и у него же больше всего шум. Хотя шум в очередной раз не добрался даже до 1 балла, не то что до 3,5, поэтому снова обращаем внимание на размытие, где все перешли границы дозволенных 5 баллов. Здесь заметное улучшение продемонстрировал Topaz, уменьшив Blur почти в два раза, до 6, пока остальные кучкой лежат в районе 10-12 баллов.

По графику VMAF никаких просадок не наблюдается, разве что на графике VMAF Topaz демонстрирует значительно большую неравномерность значений в соседних кадрах, нежели остальные программы. Первое место он отдал Instant 4K, второе – Topaz-у, а третье – UpResNet10.

Таким образом, первое место занимает Topaz, второе — Instant 4K, а третье – UpResNet10.

«Оригинальный» файл FFV1 MKV 1080P, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.

↑ Назад к содержанию

4.3 Файл 3: “4K Source”

Кадр из файла RED, конвертированный в FFV1 и уменьшенный до 720Р для превью.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Полноразмерные 4К сэмплы в кодеке H.265 лежат здесь (~49МБ каждый).
Третье сравнение будет проводиться следующим образом: исходный файл с разрешением 3840х2160 в формате R3D был экспортирован из Adobe Premiere с тем же разрешением, но с фреймрейтом, уменьшенным со 120 FPS до 23.98 FPS.
После этого полученный FFV1 файл в очередной раз был уменьшен, в этот раз с помощью билинейной интерполяции, до разрешения 1920х1080, после чего полученный файл прогонялся через программу для апскейла и сравнивался с файлом FFV1 в разрешении 4К, то есть сравнение было не с билинейной интерполяцией, как в прошлые разы, а с оригинальной картинкой. Файл короткий, всего 16 секунд, поэтому сравнивать мы будем один-единственный кадр.
Первое отличие, которое бросается в глаза – цвета и яркость изображения. Я несколько раз перепроверил настройки разделения видео на кадры и последующего сбора этих кадров в видео с помощью ffmpeg: результат один – сохранить цвета и яркость неизменными не удалось ни одному алгоритму, даже Lanczos. Впрочем, яркость и цветность изображения в данном случае не играет для нас роли, поэтому смотреть мы будем на четкость изображения, а именно – детали на автомобиле, изображения и отражения.

Анимированное сравнение автомобиля: MP4 H.264, WEBP.

Instant 4K незначительно увеличил резкость всего изображения и дорисовал темное отражение над колесом. Также эту тень дорисовали все другие способы апскейла, что интересно: раньше детали «додумывал» только Instant 4K. Возможно, алгоритмы разглядели то, что плохо видно нам – переход от участка с отражением на корпусе авто. Сильнее всех постарался Topaz, убрав шум по всему изображению (что, вообще-то, не всегда хорошо, ибо часто шум добавляют\оставляют специально) и выделил детали на автомобиле, в том числе изображения. Однако, просто так убрать столько размытия не получится, поэтому во многих местах Topaz нарисовал двойные контуры – особенно на тексте (синий квадрат). UpResNet10 в этот раз разочаровал, увеличив пикселизацию некоторых частей кадра, вероятно, неправильно распознав шум как «фичи» (красный квадрат). Что характерно, похожее поведение наблюдается и у Lanczos, который никакого ИИ не имеет вовсе. Photoshop выступил крепким середнячком, уменьшив шум и не добавив особой пикселизации.

В этом сравнении, победителем для меня в очередной раз стал Topaz, второе место занял Photoshop, третье – Instant 4K.

Перейдём к рассмотрению графиков: здесь мы добавим к рассмотрению графики SSIM и PSNR, поскольку у нас есть оригинал в 4К.

Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше.

Результат анализа VMAF (полный размер), больше — лучше.

Результат анализа SSIM (полный размер), больше — лучше.

Результат анализа PSNR (полный размер), больше — лучше.

PSNR поставил на первое место Photoshop, SSIM – Lanczos, а VMAF – Topaz. Второе место PSNR и SSIM отдали UpResNet10, в то время как VMAF отдал предпочтение Instant 4K. На третьем месте у нас снова кто во что горазд, и пока PSNR ставит на третье место Lanczos, SSIM отдает его Instant 4K. VMAF – Photoshop. При этом VMAF оценивает каждый кадр Topaz в 100 баллов из 100 возможных – я проверил дважды.

MITSU снова демонстрирует привычную картину, и сообщает нам, что шум на всех результатах практически отсутствует. Что касается размытия, то тут все уже не так хорошо – большая часть апскейлеров сохранили размытость оригинала, от группы оторвались только Topaz и UpResNet10, на 4 и 2 балла соответственно. Оба не смогли добраться до заветных 5, но результат есть.

Из всех четырех метрик, больше всего совпадают с моими впечатлениями показания VMAF и MITSU, а PSNR и SSIM предпочитают «математику» ИИ. По результатам анализа однозначно победителя назвать сложно.

«Оригинальный» файл FFV1 MKV 4K, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.

↑ Назад к содержанию

4.4 Файл 4: “Youtube”

Кадр из видео Youtube, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.
Видео с Youtube, от начала и до конца. Исходное качество – 720Р, рисованная анимация, плюс добавлена тряска камеры. Качество – приемлемое, но оставляет желать лучшего, особенно на 4К мониторе.
Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.
Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.
Полноразмерные 4К сэмплы в кодеке H.265 лежат здесь (~265МБ каждый).

На первом же сравнении в глаза бросается отличие кадра, выданного Instant 4K: он отличается и по цвету, и по яркости. Я несколько раз экспортировал это видео из нескольких версий Adobe Premiere и проверял цветность – Instant 4K настаивал на изменении цвета при любых настройках. Итоговый результат – из версии 2019 с включенным Display Color Management.

Анимированное сравнение лица: MP4 H.264, WEBP.

Без увеличения разница заметна разве что у Instant 4K и Topaz, поэтому посмотрим поближе на лицо.

Lanczos не продемонстрировал никаких улучшений, UpResNet10, как ни странно, тоже. Photoshop уменьшил эффект блочности картинки, который появился в оригинале из-за слишком сильного сжатия, при этом не потеряв деталей. Для анимации такой метод вполне приемлем, мы убираем артефакты без увеличения резкости, в общем и целом картинка становится приятнее. Instant 4K увеличил количество артефактов и изменил цвета, присутствует также незначительно увеличение резкости, которое нивелируется появлением еще большего количества артефактов. Topaz же продемонстрировал именно то, что хотелось бы видеть от всех другие методов: артефакты практически полностью исчезли, как и эффект блочности, а резкость не идет ни в какое сравнение с оригиналом или любым другим способом апскейла. Победителем, однозначно, является Topaz, второе место уходит Phtoshop, третье делят UpResNet10 и Lanczos, потому что они хотя бы не добавили новых артефактов, в отличие от Instant 4K.

Кадр из видео Youtube, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Переходим ко второму кадру: здесь у нас есть много градиентов с артефактами, а также детали лица, в очередной раз.

Интересно будет посмотреть на то, как все методы апскейла отработали артефакты на градиентах, а также поискать нежелательные изменения. Что касается артефактов на градиенте слева (синий квадрат), на них обратили внимание только Topaz и Instant 4K. В то время как первый практически полностью избавился от этих блоков, Instant 4K снова подвел, изменив цвета и сделав артефакты заметнее., чем у Topaz. Конечно, результат все равно не идет ни в какое сравнение с остальными: там эти блоки цветут и пахнут.

Анимированное сравнение лица: MP4 H.264, WEBP.

В оригинале у нас снова размазня из макроблоков, и мы ожидаем примерно такого же результата, как в прошлом кадре. Instant 4K незначительно подправил переходы между блоками и сделал их более плавными, в то время как Photoshop преуспел в этом хуже, в отличие от первого сравнения. Впрочем, изображение после обработки Photoshop все равно стало чуть приятнее. UpResNet10, к сожалению, опять ударил в грязь лицом и совершенно не улучшил происходящее на экране, практически не отличившись от Lanczos. А вот Topaz в очередной раз прибавил четкости, убрал артефакты и не добавил новых.

Победителем здесь снова выходит Topaz, второе место – за Instant 4K (я уже смирился со сменой цветов), третье – Photoshop.

Кадр из видео Youtube, увеличенный с помощью билинейной интерполяции и уменьшенный до 720Р для превью.

Результаты JPEG Instant 4K, Lanczos, Photoshop, Topaz, Waifu2x с профилем UpResNet10 и оригинал.

Анимированное сравнение: MP4 H.264, WEBP. Также оба файла и оригинальные кадры в PNG доступны здесь.

Третий и последний кадр: здесь я специально выбрал кадр потемнее, чтобы увидеть, как все программы будут работать с артефактами на темных участках.

В первую очередь хочу обратить внимание на зеленый квадрат: мы ожидаем от всех апскейлеров уменьшения блочности в этом месте. К сожалению, наши ожидания удовлетворил тишь Topaz, остальные же, включая Photoshop, не сделали артефакты менее заметными. Instant 4K снова стреляет себе в ногу, увеличивая яркость изображения и вытягивая даже те артефакты, которых раньше мы просто не видели. Хочу отметить, что результат Topaz-а на этом кадре мне тоже не очень понравился, я считаю, что он слишком сильно смазал градиенты. Впрочем, за это он убрал практически все видимые огрехи, поэтому сравнивать его с просто не с кем – все остальные, как я уже сказал, на них практически не повлияли.

Анимированное сравнение одежды: MP4 H.264, WEBP.

Поскольку на лица мы уже насмотрелись, рассмотрим крупнее детали одежды: здесь мы наблюдаем настоящий парад макроблоков, особенно на градиентах. К сожалению, в очередной раз, ни один из апскейлеров не сделал картинку лучше, за исключением Topaz, который сгладил все градиенты и практически полностью убрал блочность, за что и занимает по результатам анализа этого кадра первое место. Второе и третье место за этот кадр назначать, как ни печально, некому.

Удивительно, но waifu2x, казалось бы, заточенный под увеличение аниме и рисунков, оказался совершенно не в состоянии реализовать свое преимущество. Для меня это стало сюрпризом.

Сравним мои впечатления с результатами анализа VMAF и MITSU, начав с первого:

Результат анализа MITSU (полный размер), Blur и Noise, меньше — лучше.

Результат анализа VMAF (полный размер), больше — лучше.

VMAF расположил все способы апскейла практически в обратном моему порядке, на первом месте Lanczos, на последнем – Topaz. У всех наблюдаются частые просадки по качеству, ниже всех по метрике VMAF падает Topaz, причем в самых продолжительных просадках за ним устремляются также и все остальные, кроме Lanczos. При этом я на этих кадрах не увидел ничего необычного.

Ну а MISTU в очередной раз демонстрирует большой отрыв Topaz-а от остальных по метрике Blur, а также незначительную прибавку Noise. Абсолютно все способы апскейла по мнению MITSU сделали картинку более четкой, а Instant 4K даже уменьшил количество невидимого для нас шума.

Первое место, таким образом, занимает Instant 4K, второе – UpResNet10, третье – Topaz.

В этот раз с VMAF я совершенно не согласен.

«Оригинальный» файл FFV1 MKV 720P, для желающих провести собственные эксперименты или повторить мои, можно скачать здесь.

↑ Назад к содержанию

5. Анализ результатов

Для определения победителя, я воспользуюсь результатами метрики VMAF и субъективными выводами о каждом файле. Метрику VMAF я просто сложу, используя среднее значение из каждого файла. Что касается субъективной оценки, здесь я обращусь к своим выводам о каждом файле, и выдам за каждый файл первому месту 3 очка, второму месту — 2, и третьему — 1. После чего эти очки я складываю и распологаю по вертикали графика.

Результат сложения VMAF и субъективного анализа (полный размер), больше — лучше.
По метрике VMAF победителем оказался Instant 4K, оторвавшись от Topaz, занявшего второе место, всего на 0.58 балла. По субъективному анализу, с другой стороны, дистанция между первым и вторым местом гораздо больше — первое место занял Topaz, оторвавшись от занявшего второе место Intsant 4K на 8 баллов, получил в 3 раза больше очков.

Победителем моего сравнения оказывается Topaz, второе место уходит Instant 4K, а третье — UpResNet10.

Однако, сравнение было бы не полным без сравнения скорости работы программ и моих замечаний к их работе. Начнем с первого:

Затраченное на обработку время и обьемы полученных файлов (полный размер)
Увеличенная детализация Topaz сказывается даже на размерах файлов, причем значительно. Как правило, файлы Topaz оказываются в 2 раза «тяжелее» файлов остальных апскейлеров, и в 4 раза «тяжелее» оригинальных файлов, увеличенных билинейной интерполяцией. Исключение составляет разве что файл «4K Source», где разница была менее 30%.
Что касается скорости работы программ, то все они, кроме Topaz и Photoshop, работают с весьма приемлемой скоростью. Впрочем, приемлемой для чего?
Что если мы захотим увеличить через Topaz фильм, длительностью в 2 часа, с частотой кадров 25 кадров в секунду? У моего компьютера на такое уйдет 421 час или 17 с половиной дней непрерывной работы. Что насчет сериала продолжительностью 40 минут? 6 дней.
Да, картина с тем же waifu2x несколько иная — 2 дня на фильм, 16 часов на серию. Считаете ли вы результат, продемонстрированный waifu2x, стоящим двух дней непрерывного рендера? На этот вопрос каждому предлагаю ответить самостоятельно.
Месяц назад для апскейла видео я использовал только и исключительно Instant 4K, для изображений (логотипов, иногда фото) waifu2x. Результат, продемонстрированный Topaz, заставил меня добавить его в свою коллекцию программ для апскейла, как минимум для увеличения изображений. Я нередко увеличиваю короткие ролики длительностью меньше 10 секунд, кроме того, он прекрасно увеличивает изображения — как рисунки, так и фотографии.

Возвращаясь к теме фильмов, в случае с Topaz я вижу только один способ решения проблемы: распределение кадров для обработки на несколько машин.

Topaz AI может работать быстрее. В чем подвох?

Отключение «ИИ моделей высокого качества» сокращает время обработки теоретического фильма на 4 дня, ценой уменьшения точности обработки цветов. Возможно, вам будет интересно знать, что на форуме Topaz многие считают эту «облегченную» модель более качественной. PNG кадры и анимированное сравнение можно посмотреть здесь.

Instant 4K работает с хорошей скоростью и демонстрирует при этом замечательный результат (лучше остальных способов, кроме Topaz, и при этом быстрее, а также банально удобнее).
Lanczos, как и ожидалось, не имеет смысла без дополнительного sharpen фильтра для увеличения резкости.
Photoshop точно не стоит затраченного на него времени, по крайней мере с использованными мной настройками. Может быть, если использовать JPEG и заменить все диски на SSD, можно добиться значительного увеличения скорости обработки.
UpResNet10, в целом, проигрывает Instant 4K. Но если вы не согласны с его самодеятельностью, можно попробовать заменить Instant 4K на UpResNet10. Лично я не считаю артефакты Instant 4K такими заметными. С другой стороны, использовать Instant 4K для увеличения изображений, как минимум странно, да и обычно вовсе неудобно. Поэтому заменить waifu2x с помощью редактора видео можно, но не нужно.

Может ли какой-то из способов апскейла быть назван универсальным? Пожалуй, да. Я думаю, что правильно настроенный Topaz может выдать стабильно лучшую картинку, чем остальные способы апскейла. Но нет бочки меда без ложки дегтя, нельзя забывать о производительности Topaz-а.

↑ Назад к содержанию

6. Новичку, желающему испытать в деле современные программы для апскейла

… я могу в первую очередь порекомендовать Instant 4K, как самый простой в использовании.
Вы просто запускаете программу, импортируете в нее свой файл, создаете из него последовательность «Sequence from Clip», заходите в ее настройки (Sequence Settings) и меняете разрешение на желаемое. После этого перетаскиваете эффект Instant 4K на вашу видеодорожку, настраиваете разрешение и дополнительные параметры и можете начинать экспорт.
К сожалению, чтобы воспользоваться этой программой, вам нужно купить или найти Adobe Premiere, а также сам плагин. Купить все это — весьма серьезное вложение средств, а советовать искать в интернете «вылеченные» программы я не могу.

Adobe Premiere недоволен моим вкусом
Хочу обратить ваше внимание на то, что Premiere работает далеко не со всеми форматами видео, и на немалую часть фильмов из Интернета будет ругаться благим матом. На этот случай, могу только посоветовать конвертировать фильм во что-нибудь вроде ProRes с помощью ffmpeg:

ffmpeg -hide_banner -probesize 1000M -i file.mkv -pix_fmt yuv420p -c:v prores_ks -c:a aac -b:a 128k file.mov

Следующей на очереди будет waifu2x: раскладываем видео на кадры с помощью BAT-файла из раздела «Подготовка материала к тестированию», открываем папку в waifu2x, выбираем параметры (увеличение до разрешения, шумоподавление) и начинаем экспорт. По его окончании вам нужно будет лишь свести кадры и звук в готовое видео. У вас могут возникнуть некоторые проблемы с настройкой, как я уже писал, лично мне пришлось искать cuDNN, кроме того, waifu2x требует достаточно мощной видеокарты.

Если вы по каким-то причинам не можете настроить waifu2x, либо у вас не хватает мощности GPU, обратитесь к Photoshop. В этой статье есть достаточно хорошая инструкция по его использованию.

Если вас удовлетворят эксперименты с изображениями, или у вас очень много лишнего времени, воспользуйтесь триалом Topaz: он будет работать со всеми функциями 30 дней. Как раз успеете до конца испытательного периода увеличить любимый фильм (но это не точно). Требования к мощной видеокарте от waifu2x распространяются и сюда. Кроме того, при использовании Topaz или waifu2x у вас могут возникнуть проблемы в работе с другими, даже простейшими программами, поскольку обе программы норовят занять GPU на 100%, делая интерфейс остальных очень тормознутым. Принцип работы — тот же, что и с waifu2x.

В трех последних случаях, я рекомендую вам заранее отделить звуковую дорожку от исходного видеофайла, любым удобным вам способом. Если это простое видео с Youtube или фильм с одной дорожкой — хорошо, подойдет простейший однострочный BAT-файл. Если же вам «повезло» экспериментировать с фильмом с дорожками 5.1 и несколькими переводами, то подобные случаи выходят далеко за пределы этой статьи. Но кто ищет, тот всегда найдет.

Образец скрипта для извлечения звука

ffmpeg -i input-video.avi -vn -acodec copy output-audio.aac 

После получения аудио одним файлом и по окончании обработки кадров апскейлером, следует свести звук и видео в один файл.
Новичкам порекомендую воспользоваться скриптом из статьи про Photoshop:

ffmpeg -framerate 24 -i image-%%03d.png -i sn.mp3 -pix_fmt yuv420p -vcodec libx264 -preset veryslow -crf 15 -r 24 test_4K.mp4

Подправлен под мой скрипт для конвертации видео в отдельные кадры. Не забудьте поменять -r и -framerate на свою частоту кадров. Также при работе с PNG не помешает указать требуемое цветовое пространство видео: -pix_fmt yuv420p
Остальным — изучить параметры и настройки H.265 (меньше размер и больше качество) и H.264 (быстрее).
Еще варианты скриптов под FFMPEG можно посмотреть в этой статье про апскейл.
↑ Назад к содержанию

7. План на следующую статью и вопросы читателям

В следующей статье я планирую добавить интерактив для субъективного тестирования, чтобы непосредственно читатели оценивали те или иные методы апскейла, для этого собираюсь использовать MSU Video Quality Measurement Tool. Но мне нужно будет понять, могу ли я свободно использовать H.265 и сжать файлы сильнее, или мне придется использовать H.264. Прошу пройти опрос внизу и отметить, может ли ваш ПК воспроизводить H.265 без потерь кадров («лагов»).
Кроме того, я планирую рассмотреть Super-Resolution Convolutional Neural Network model (SRCNN) и Efficient Sub-Pixel Convolutional Neural Network model (ESPCN).

  • В следующей статье я бы хотел повторить использование Lanczos, но добавить sharpening. Какой? Есть ли у вас пожелания или предложения по его настройке? Возможно, стоит заменить Lanczos на другой способ апскейла, например, sinc?
  • Стоит ли поменять модель waifu2x на другую? CUnet? Профиль Y? Возможно, вы в своих апскейлах с большим эффектом использовали другой?
  • Нужно ли оставить Photoshop?
  • Использовать «медленную, но качественную» модель Topaz, либо «быструю, но не качественную»?
  • Возможно, у вас есть предложения по исходным видео для тестирования?
  • Оставить или убрать MITSU? Возможно, поменять метрики, например Noise на Blockiness?

Бонусный франкенштейн от Topaz:
Один из двух кадров, испорченных Topaz при обработке исходного материала.

↑ Назад к содержанию

Обзор Topaz Video Enhance AI. Апскейл видео для ленивых

Наверняка вы видели в сети видео типа Нью-Йорк 40-ых в цвете и 4K. А когда хотели сделать так же со своими видео из детского сада, выяснилось, что нужны какие-то там нейросети. А я расскажу, как сделать это почти в один клик.

Topaz Video Enhance AI — приложение для Windows и macOS, которое легко помогает произвести апскейл видео до 8K без потери качества, а даже с его улучшением.

Теория

При первом запуске приложения вас ожидает экран с обучением из трёх шагов. По сути, для улучшения видео требуется всего три действия: открыть видео, выбрать желаемые параметры, сохранить видео.

И на самом деле именно так просто всё и происходит. Для примера я скачал вот это видео с YouTube в разрешении 480P, и добавил его в Topaz Video Enhance AI.

На следующем этапе нужно задать параметры для апскейла видео.

В разделе Processing можно выбрать одну из шести нейросетей, которая будет обрабатывать видео. В чём разница между ними, я не буду рассказывать — в приложении всё написано.

Setting отвечает за качество видео на выходе. Можно выбрать разрешение в процентах, ввести свои или выбрать значения — вплоть до 8K.

В разделе Format нужно выбрать формат файла на выходе и путь сохранения.

Дополнительно можно обрезать видео и выбрать видеокарту, с которой будете работать.

После настройки всех параметров остаётся нажать Start Processing, и в выбранной папке через какое-то время появится улучшенная версия видео.

Практика

На практике всё не так радужно, и результат полностью зависит от мощности вашего компьютера. Сделать из видео (длительностью даже в 10 секунд) шедевр в 8K на слабом железе не получится ни при каких условиях.

На своём компьютере с Intel Core i7 и 32 Гб оперативы я так и не смог сделать даже апскейла до 1080p. Процесс шёл либо ооооооооочень медленно, либо не шёл вообще, либо постоянно начинался заново.

Вероятно, если бы я занимался этим не для поста на сайте, а для дела, я бы всё-таки добился результата. Но мне лень, поэтому вот вам пример с сайта разработчика.


Лицензия на Topaz Video Enhance AI стоила на момент написания поста $200, при этом на пробу даётся 30-дневная версия без каких-либо ограничений. Поэтому в первую очередь я рекомендую просто попробовать демку, и понять, надо ли оно вам вообще.

А сказать, работает ли приложение, я не могу. У меня не получилось…

Скачать

Upscale — твик для изменения разрешения вашего iPhone

El новый побег из тюрьмы, и возможности продолжить использовать его с новой версией iOS были сосредоточены почти все новости, связанные с разблокировкой iPhone в последние дни. Однако сегодня мы хотим отложить всю эту информацию в сторону, чтобы рассказать вам о том, что вы уже можете делать со своим терминалом и что, безусловно, для многих действительно интересно. Мы имеем в виду особую настройку Upscale, с помощью которой вы сможете максимально использовать разрешение экрана.

Вы уже знаете, что с iPhone 6 и iPhone 6 Plus, именно из-за изменения размера экрана, также применяется изменение разрешения, и именно это твик эмулирует в устройствах предыдущего поколения, таких как iPhone 5 и iPhone 5s. . Хотя мы, очевидно, теряем точки, в которых можно щелкнуть по экрану, у нас гораздо больше места для работы, и иногда мы обнаруживаем, что управление терминалом намного интереснее просто применив это изменение разрешения.

В следующем видео вы сможете подробно рассмотреть как работает высококлассный, хотя следует отметить, что помимо привлечения внимания пользователей, это также было сделано среди разработчиков настроек и приложений, с помощью которых можно увидеть изменения в будущих приложениях, которые включают такие простые вещи, как эти, для улучшения взаимодействия пользователя с их телефоном и видимость того, что на экране.

Upscale — это настройка, которую вы можете установить на свой терминал iPhone, кроме iPhone 6 или iPhone 6 Plus. Среди вариантов, которые вы можете выбрать, — стандартные разрешения этих терминалов, а также разрешения iPhone 5 и iPhone 5s. Чтобы загрузить его на свой телефон, вам нужно будет добавить репозиторий Cydia. repo.bd452.com.

upscale department — Russian translation – Linguee































Union Square is the city’s most popular shopping

[…]
neighborhood with major department stores and upscale boutiques.

ef.co.nz

Юнион Сквер — самый популярный торговый район города,

[…]
где находятся крупнейшие универмаги и элитные бутики.

ef.kz

Encouraged by the concretization of such initiatives and the positive signals in favour of a resumed peace process in the Middle East, the Director-General started

[…]

exploring, in close

[…]
consultation with the Palestinian and Israeli authorities, ways to formalize and upscale UNESCO efforts toward dialogue, in view of formulating the “reconciliation […]

pillar” of the UNESCO

[…]

Strategy on Reconstruction and Reconciliation.

unesdoc.unesco.org

Воодушевленный осуществлением такого рода инициатив и поступающими позитивными сигналами в пользу возобновления мирного процесса на Ближнем Востоке, Генеральный

[…]

директор в консультации

[…]
с палестинскими и израильскими властями приступил к изучению путей формализации и расширения усилий ЮНЕСКО по развитию диалога с целью выработки «примирительной […]

составляющей»

[…]

Стратегии ЮНЕСКО по восстановлению и примирению на Ближнем Востоке.

unesdoc.unesco.org

The Company is operating in economic sectors where the team’s professionalism is a key factor, and hence RBC’s human resources policy is aimed at building an upscale, reliable and cohesive team capable of bringing the Company to a leading position amid intense competition on the media and IT markets.

rbcholding.com

Компания действует в отраслях экономики, где профессионализм команды играет ключевую роль, и кадровая политика РБК направлена на формирование первоклассной, ответственной и сплоченной команды, способной обеспечить лидерство Компании в условиях высокой конкуренции на медиа- и ИТ-рынках.

rbcholding.ru

In the framework of the Interreligious Dialogue Programme, a special course entitled “Religion and Media” attended by journalists and international civil servants, among others, from the United Nations and the International Red Cross, and diplomats was inaugurated at the University of Geneva (History of Religions Department).

unesdoc.unesco.org

В рамках Программы межрелигиозного диалога в Женевском университете (факультет истории религий) были организованы специальные курсы на тему «Религия и средства массовой информации», в которых приняли участие журналисты и международные гражданские служащие, в том числе из Организации Объединенных Наций и Международного Красного Креста, а также дипломаты.

unesdoc.unesco.org

However, it is concerned at the lack of information on any awareness-raising and

[…]

training programmes for members of

[…]
the Political Security Department, the National Security […]

authority and the Ministry of the

[…]

Interior, as well as on any training programmes for judges, prosecutors, forensic doctors and medical personnel dealing with detained persons, to detect and document physical and psychological sequelae of torture.

daccess-ods.un.org

Однако он озабочен отсутствием сведений о любых

[…]

программах повышения

[…]
информированности и подготовки для сотрудников Департамента политической […]

безопасности, Управления национальной

[…]

безопасности и Министерства внутренних дел, а также о любых учебных программах для судей, прокуроров, судмедэкспертов и медиков, имеющих дело с задержанными лицами, по вопросам выявления и документирования физических и психологических последствий пыток.

daccess-ods.un.org

With regard to its main objectives, it was considered that UNESCO’s decentralized system should cater for country-level priorities and needs as spelled out in national development plans and strategies and in UNDAF documents, maintain a regional approach considered as one of the

[…]

Organization’s comparative

[…]
advantages at field level, and upscale support to Member States’ […]

subregional integration efforts.

unesdoc.unesco.org

В части, касающейся основных целей децентрализации, было высказано мнение о том, что децентрализованная система ЮНЕСКО должна способствовать реализации страновых приоритетов и потребностей, сформулированных в национальных планах и стратегиях развития и в документах РПООНПР, сохранять

[…]

региональный подход, считающийся

[…]
одним из сравнительных преимуществ Организации на местном […]

уровне, а также усилить поддержку

[…]

субрегиональной интеграционной деятельности государств-членов.

unesdoc.unesco.org

However, on 28 January and 14 February 2011, suicide attackers struck against upscale targets frequented by both Afghans and international personnel.

daccess-ods.un.org

Вместе с тем 28 января и 14 февраля 2011 года смертники напали на пользующиеся популярностью объекты, где часто бывают как афганцы, так и международный персонал.

daccess-ods.un.org

The key gaps on which to target and upscale our capacity building assistance include border control, terrorist financing, the criminal justice sector and the promotion of cultural dialogue.

daccess-ods.un.org

Среди основных направлений, на которые нам следует нацелить свою помощь в деле наращивания потенциалов и где нам следует ее активизировать, — пограничный контроль, финансирование террористов, уголовное правосудие и поощрение диалога между культурами.

daccess-ods.un.org

The PMTCT committee has committed themselves to address and upscale prevention methods in HIV pregnant women.

daccess-ods.un.org

Комитет по ППИМР активно применяет методы профилактики, расширяя охват ВИЧинфицированных беременных женщин.

daccess-ods.un.org

The drawdown and withdrawal of peacekeeping missions should not be conceived as a sign of dissipating international attention and engagement but rather as a transition to longer-term peacebuilding that should indeed upscale the international and United Nations engagement.

daccess-ods.un.org

Сокращение численности и завершение работы миротворческих миссий должны рассматриваться не как признак снижения внимания и активности со стороны международного участия, а, скорее, как переход к долгосрочному миростроительству, которое должно на практике повышать уровень участия международного сообщества и Организации Объединенных Наций.

daccess-ods.un.org

Recognition of the importance of these issues is

[…]

reflected in the agenda

[…]
drawn up by the United Nations Department of Social and Economic Affairs […]

(UNDESA) for the interregional

[…]

preparatory meeting (Bahamas, January 2004), featuring six round-table discussions closely related to wider, intersectoral concerns, namely cultural diversity, cultural industries, empowering youth, knowledge-based societies, poverty alleviation, social and societal concerns.

unesdoc.unesco.org

О важном значении

[…]
этих вопросов свидетельствует составленная Департаментом Организации Объединенных […]

Наций по экономическим

[…]

и социальным вопросам (ДЭСВООН) повестка дня межрегионального подготовительного совещания (январь 2004 г., Багамские Острова), в которую включены шесть совещаний за круглым столом, тесно связанных с такими крупными межсекторальными темами, как культурное разнообразие, индустрия культуры, расширение прав и возможностей молодежи; общества, основанные на знаниях; борьба с нищетой, социальные и общественные проблемы.

unesdoc.unesco.org

In the most recent report of the Secretary-General on the

[…]
pattern of conferences, the Department for General Assembly and […]

Conference Management submitted

[…]

a document for consideration by the Assembly consolidating the existing guidelines on word and page limits and clarifying the number of words per page and pages per document for reports, including all documents submitted by the Secretariat directly and on behalf of intergovernmental bodies (A/65/122, annex VIII).

daccess-ods.un.org

В самом последнем докладе

[…]
Генерального секретаря о плане конференций Департамент по делам Генеральной […]

Ассамблеи и конференционному

[…]

управлению представил для рассмотрения Ассамблеей документ, сводящий воедино существующие руководящие положения относительно максимального объема по числу слов и страниц, включая число слов на страницу и страниц на документ для докладов, включая все документы, представляемые Секретариатом напрямую и от имени межправительственных органов (А/65/122, приложение VIII).

daccess-ods.un.org

Following the receipt of Concluding Observations

[…]

from Treaty Bodies,

[…]
the Government department responsible for the relevant report publicises the Concluding Observations through NGO channels and Government websites and ensures that all relevant departments of the Maldives […]

receive the recommendations for review.

daccess-ods.un.org

Вслед за получением заключительных замечаний договорных органов правительственные ведомства, отвечающие за соответствующие доклады, обнародуют их через каналы НПО и вебсайты правительства и обеспечивают, […]

чтобы все профильные учреждения Мальдивских

[…]

островов получили эти рекомендации для их изучения.

daccess-ods.un.org

Tel Aviv has dozens of shopping malls, such as the huge Azrieli Center (treat yourself in an upscale restaurant on the 49th floor of the Round Tower for a one-of-a-kind view of the Tel Aviv metropolis and the sea), the uniquely designed Dizengoff center (on an interesting shopping street with the same name), and the upscale Ramat Aviv mall (on Einstein street – in close proximity to the Tel Aviv University).

elal.co.il

В Тель-Авиве десятки торговых центров: огромный центр «Азриэли» (стоит посетить престижный ресторан на 49-м этаже круглой башни, чтобы насладиться неповторимым видом на мегаполис и море), оригинально спланированное здание «Дизенгоф-Центра» на одноименной торговой улице и фешенебельный торговый центр «Рамат-Авив» на улице Эйнштейн рядом с Тель-Авивским университетом.

elal.co.il

A well-planned road that winds past

[…]
elegant seafront Herzliya hotels like the Dan Accadia, swish private residences and leafy streets connects this upscale town to the high-rise towers of central Tel Aviv in as little as 20 minutes.

danhotels.com

Тщательно спроектированная дорога, огибающая элегантные

[…]

прибрежные отели Герцлии, такие как «Дан

[…]
Аккадия», а также изысканные частные дома и тенистые улицы, соединяют этот престижный город с высоко возвышающимися башнями центральной части Тельвива, находящегося всего лишь в 20 минутах езды.

rus.danhotels.com

The first phase involved a new marketing strategy and subsidized rental accommodation designed

[…]
to attract an upscale clientele.

daccess-ods.un.org

В рамках первого этапа осуществлялась новая стратегия в области

[…]

маркетинга и было обеспечено субсидирование проектов по

[…]
предоставлению жилья в аренду для привлечения […]

состоятельных клиентов.

daccess-ods.un.org

This decline was however the result of the

[…]
group’s strategy to concentrate on its upscale segment.

tourism-review.com

Это снижение было результатом стратегии

[…]
группы, направленной на концентрацию на элитном сегменте.

tourism-review.ru

The Court ruling of March 29 further states that

[…]
the inflation index upscale corresponds to the […]

period running from May 2008, when foreign

[…]

funds were deposited on Mr. Bialiatski’s bank account, up to January 2012, when his wife, Ms. Natalia Pinchuk, transferred the amount of the fine on the Pervomaisky District Court’s bank account.

belhelcom.org

В постановлении суда от 29 марта также

[…]
говорится, что начисленный индекс инфляции соответствует […]

периоду с мая 2008 года, когда иностранные

[…]

ресурсы были переведены на банковский счет г-на Беляцкого, к январю 2012 года, когда его жена Наталья Пинчук перевела сумму штрафа на банковский счет суда Первомайского района.

belhelcom.org

(b) Identify and facilitate access to financing opportunities in cooperation and/or in partnership with national

[…]

institutions and international organizations, in

[…]
particular innovative financing to upscale finance for SLM at country level; and

daccess-ods.un.org

b) нахождение и облегчение доступа к возможным источникам финансирования в сотрудничестве

[…]

и/или партнерстве с

[…]
национальными учреждениями и международными организациями, в частности к инновационному […]

финансированию для

[…]

увеличения объема финансирования УУЗР на страновом уровне

daccess-ods.un.org

upon the African Union, the United Nations and members of the international community

[…]

working on Somalia to

[…]
immediately relocate to Mogadishu, upscale their visibility and support […]

the Transitional Federal Institutions

[…]

(TFIs) concretely in order to consolidate peace and stability in the newly liberated areas and districts

daccess-ods.un.org

Африканский союз, Организацию Объединенных Наций и членов

[…]

международного сообщества, работающих в

[…]
Сомали, незамедлительно переехать в Могадишо, расширить свое […]

присутствие и оказать конкретную

[…]

поддержку переходным федеральным учреждениям в целях укрепления мира и стабильности в недавно освобожденных районах и округах

daccess-ods.un.org

Mingling with locals is easy at

[…]
Xintiandi, an upscale entertainment […]

complex filled with restaurants, cafes and bars modeled on traditional Chinese homes.

ef.com

Синьтяньди — элитный развлекательный […]

комплекс с множеством ресторанов, кафе и баров, стилизованных под традиционные китайские жилища.

ef.kz

This serene enclave perched on a cliff directly overlooking the balmy Mediterranean, is on the seafront of the upscale town of Herzliya , home to many of the high-tech enterprises that have made Israel famous.

danhotels.com

Этот умиротворяющий анклав, расположившийся на скале с непосредственным видом на спокойное Средиземное море, находится в приморской части престижного города Герцлии, в котором размещены многие из высокотехнологичных предприятий, принесших известность Израилю.

rus.danhotels.com

Then their paintings and calligraphy can be printed on the packages of upscale products or made into artworks of other kinds.

sokolniki.com

Тогда их картины могут быть напечатаны на упаковках продуктов высшего класса, или из них могут быть сделаны произведения искусства иного рода», — продолжает он.

sokolniki.com

This exceptional site, greenery and nature, dominated by the hills of the Parc Naturel Régional du Vexin enjoys privileged access. 30 minutes from Paris, 4 minutes from the A13 motorway and enjoying 5000

[…]

parking spaces stabilized, this site will respond accurately to

[…]
the needs of demanding professionals and an upscale clientele.

expopromoter.com

Это уникальное место, зеленью и природой, преобладают холмы Parc Naturel Régional-дю-Vexin пользуется привилегированным доступом. 30 минутах езды от Парижа, в 4 минутах от автомагистрали A13 и наслаждаясь 5000 парковочных

[…]

мест стабилизировалось, этот сайт

[…]
будет отвечать точно на потребности требовательных профессионалов […]

и высококлассных клиентов.

expoua.com

For airline passengers and frequent flyers with upscale demands, the Vienna Airport has two locations set away from its standard services: the Priority Terminal and the VIP Terminal, both offering convenient and smooth arrival and departure.

wien.info

Для путешествующих на самолёте и тех, кто много летает и предпочитает первоклассное обслуживание, Венский аэропорт предлагает в двух точках в стороне от стандартного пассажиропотока комфортабельное и беспрепятственное прибытие и отлёт через терминалы Priority и VIP.

wien.info

In order to better diversify its

[…]

supply, the group is considering the

[…]
creation of two new upscale brands, a full service, […]

as well as an extended stay concept.

tourism-review.com

Для того чтобы лучше разнообразить своё предложение, эта

[…]

гостиничная сеть рассматривает вопрос о

[…]
создании двух новых элитных брендов с полным комплексом […]

услуг, а также с расширенной

[…]

концепцией проживания.

tourism-review.ru

A 398-room Marriott upper upscale hotel will be located at 540 meters above sea level of the Gorky-Gorod resort and will be adjoining a mountain sub-media center where more than four thousand international journalists will lodge and work during the Olympics-2014 reporting on the Games in Krasnaya Polyana — the mountain cluster of the Olympics.

gorkygorod.ru

Гостиница Marriott на 398 номеров высокой ценовой категории расположена в «ГоркиГороде» на отметке 540 метров над уровнем моря рядом с горным вспомогательным медиацентром, где во время Олимпиады-2014 будут работать и жить более четырех тысяч международных журналистов, освещающих соревнования в Красной Поляне – горном кластере Олимпиады.

gorkygorod.ru

Nine efforts to replicate or upscale UNIFEM-supported initiatives were tracked in 2009 (compared to eight in 2008).

daccess-ods.un.org

В 2009 году

[…]
было отслежено девять попыток воспроизведения или осуществления в более широких масштабах инициатив, предпринимавшихся при поддержке ЮНИФЕМ (по сравнению […]

с восемью попытками в 2008 году).

daccess-ods.un.org

Now, it is crucial to upscale these types of initiatives […]

and to raise awareness of the importance of pollinators and other

[…]

benefits provided by micro-organisms and invertebrates so that this component of biodiversity does not continue to vanish from agricultural fields or agro-industries.

fao.org

Сейчас

[…]
чрезвычайно важно добиваться расширения таких инициатив и повышать […]

осведомлен- ность общественности о важном значении

[…]

опылителей и других выгодах, которые приносят микроорганизмы и беспозвоночные, чтобы предотвратить постоянное исчезновение этого компонента биоразнообразия на сельскохозяйственных полях или в агропромышленности.

fao.org

They also urged member

[…]
States to prioritize and upscale investments in infrastructure, […]

including through the utilization

[…]

of innovative financing mechanisms, channelling of remittances and increasing domestic resource mobilization and harnessing the potential of private-public partnerships.

daccess-ods.un.org

Они настоятельно призвали также

[…]
государства-члены придавать особое значение инвестициям в инфраструктуру […]

и увеличивать их, в том числе

[…]

на основе применения инновационных механизмов финансирования, использования для этих целей денежных переводов, более активной мобилизации внутренних ресурсов и задействования партнерских связей между частным и государственным секторами.

daccess-ods.un.org

Программа Topaz Video Enhance AI сможет делать апскейл видео до 8К

фото: topazlabs.com

Topaz Labs выпустила крупное обновление для своего умного видеоредактора — Topaz Video Enhance AI. Данное программное обеспечение добавляет новую функцию программного повышения разрешения видео.

фото: topazlabs.com

Topaz Video Enhance AI экстраполирует детали изображения, полагаясь на технологии глубинного обучения искусственного интеллекта и за счет этого обеспечивается высокое качество и реалистичная детализация картинки на выходе.

фото: topazlabs.com

Разработчики программного обеспечения — компания Topaz Labs рекомендуют использовать программу на системах с видеокартами Nvidia. А минимальные требования к видеокарте — это GTX 1050 с 4 ГБ видеопамяти. Если вам потребуется более высокая скорость, тогда придется купить другую видеокарту не ниже GTX 1080 или еще более продвинутую.

Кроме того, разработчик утверждает, что если карты Nvidia нет, программа может задействовать Intel iGPU, но скорость упадет примерно в пять раз. Наконец, в отсутствие iGPU можно обойтись возможностями CPU, однако Topaz Labs предупреждают, что скорость будет на порядок ниже, чем при использовании GPU Nvidia.

Напомню, что раннее другой производитель программного обеспечения выпустил обновление для для своего софта – Dragonframe, которое создано для работы со Stop Motion анимацией. Также компания Canon выпустила платную прошивку для камер EOS R.

[topazlabs.com]

Еще больше новостей и вдохновения в наших социальных сетях: Вконтакте, Facebook, Instagram, Telegram, Яндекс Чат и PhotarTV

comments powered by HyperComments

Определение Upscale от Merriam-Webster

вверх · масштаб

| \ ˈƏp-skāl

\

: , относящиеся к состоятельным потребителям, являющиеся или привлекающие их

также

: высшего качества

масштабированный; апскейлинг; высококлассные

переходный глагол

1

: , чтобы сделать (что-то) более привлекательным для состоятельных потребителей : , чтобы сделать (что-то) более высококлассным

Совет переименовывает их в Fashion Awards, глобализирует их, переносит шумиху вокруг них в Королевский Альберт-холл и иным образом увеличивает их масштаб.- Ванесса Фридман «Все пытаются повысить качество мужских одеколонов, потому что престижные бренды забрали долю у массовых», — говорит консультант косметической индустрии Аллан Моттус. — Рональд Олсоп

также

: для улучшения качества (чего-то)

… Даже наняла учителя почерка, чтобы улучшить ее почерк — больше никаких крошечных кружочков над ее i.- Брэд Даррач

2

: для увеличения размера; объем или масштаб (чего-то)

Звезда — это увеличенный ядерный реактор, а не костер. — Лоуренс А. Маршалл. В результате масштабирование проблемы недопредставленности до национального масштаба мобилизует скалярную политику… — Эмили Скоп

: в сторону верхнего, более дорогого сегмента ассортимента товаров или услуг или ближе к нему.

Он попытался перейти на более высокий уровень — к более дорогим и прибыльным предметам одежды, которые теоретически будут менее подвержены ценовой конкуренции.- Джеймс Ларднер… шеф-повар Селестино Драго сделал высококлассную сицилийскую кухню в своем шикарном ресторане в Санта-Монике. — Томас Мэтьюз

Что такое «высококлассный»? ** Это слово используется для описания торговых центров, предлагаемых для долины Лихай.Но действительно ли это элитный магазин без таких магазинов, как Saks или Bloomingdale’s?

После 35 лет работы в розничной торговле Ирвин Гринберг сразу же узнает высококлассный магазин.

А предлагаемые в Лихай-Вэлли торговые центры «центры образа жизни» — часто описываемые как высококлассные — не имеют успеха, говорит он.

«Нельзя говорить о высококлассном центре, не имея кого-то вроде Nordstrom, Saks Fifth Avenue или Bloomingdale’s», — сказал Гринберг, консультант по розничной торговле и бывший президент сети универмагов в Аллентауне, бывшей Hess’s.«Нельзя говорить о Williams-Sonoma и Pottery Barn и говорить о высококлассных вещах».

Многие люди делают именно это в долине Лихай и по всей стране.

Слово «высококлассный» часто всплывает при обсуждении центров жизни, недавно ставших популярными торговых центров под открытым небом с причудливым ландшафтом, атмосферой центра города и элитными магазинами. Планы создания центров образа жизни стремительно растут на рынках второго уровня по всей стране, включая три предложения для долины Лихай.

Но «высококлассный», как и «новый и улучшенный», — это скользкий термин, который означает разные вещи для разных людей.

Для Гринберга «высококлассный» означает действительно первоклассные продукты — лучшие по моде и качеству, по соответствующим ценам.

Другие обозреватели розничной торговли говорят, что вполне приемлемо применять этот термин к высококлассным массовым маркетологам, таким как Williams-Sonoma — не к абсолютным топовым магазинам, но более дорогим и модным, чем многие. Такие магазины составляют основную часть арендаторов лайфстайл-центров.

А третьи говорят, что этот термин бессмысленен, как потому, что он так широко используется, так и потому, что розничные торговцы не особо используют какой-либо термин, который мог бы ограничить их привлекательность или продажи.

«Розничные торговцы — хитрые, умные — тратят много времени, пытаясь избежать навешивания ярлыков», — сказал Майкл Теслер, профессор розничной торговли в Bentley College в Уолтеме, штат Массачусетс, и владелец консалтингового бизнеса. Концепции розничной торговли.

Торговая группа Международного совета торговых центров использует термин «высококлассный» в своем исследовании, чтобы описать привлекательность центров образа жизни.

Но не просите ICSC или другую группу розничной торговли, Национальную федерацию розничной торговли, точно сказать, что это означает.Представители обеих групп заявили, что у них нет четкого определения высококлассной розничной торговли, только общее понимание того, что она более дорогая, более качественная и более избирательная, чем в среднем для массового рынка.

«Я считаю, что это довольно субъективно, — сказала Эллен Толли, пресс-секретарь Национальной федерации розничной торговли в Вашингтоне, округ Колумбия. — Я не верю, что существует какое-либо установленное определение».

В Словаре Webster’s New World College Dictionary есть определение набора, хотя оно и не связано с покупками. Словарь определяет «высококлассный» как «предназначение для людей относительно богатых, образованных, стильных и т. Д. Или для них».«

Ключевое слово здесь -« относительно », — согласно Фреду Марксу, независимому аналитику розничной торговли из маркетинговой фирмы Marx Layne в Детройте. Маркс проработал 20 лет в управлении розничными торговцами Macy’s, Federated и Dayton-Hudson (теперь Target Corp. ), прежде чем заняться бизнесом для себя.

Маркс определяет высококлассность как «сверх среднего» в любом данном регионе.

Таким образом, в богатых районах вокруг Нью-Йорка Нейман-Маркус или Сакс могут быть просто высококлассными. В менее благополучном Аллентауне они заняли бы иную, более высокую нишу — «роскошь».«

« Вы не в Нью-Йорке », — сказал Маркс.« Вы в Аллентауне ».

Гринберг, также ветеран розничной торговли, не согласен. не сильно отличаются от магазинов, уже находящихся в долине Лихай. И, по его мнению, «высококлассный» означает одно и то же на всех рынках — качество, мода и цена, с сочетанием одежды и товаров для дома.

«У него есть — сказал он. —

Реальные высококлассные магазины, такие как Neiman-Marcus и сеть универмагов Fortunoff, отделяют как минимум 15 лет от рассмотрения в Lehigh Valley, сказал он.По его словам, демографические данные в этом районе улучшаются, но все еще недостаточно сильны, чтобы поддерживать такие магазины.

«[Фортунофф] абсолютно невероятен», — добавил Гринберг. «Они делают Pottery Barn и Williams-Sonoma похожими на игроков низшей лиги».

Некоторые строители центров жизни используют слово «высококлассный», а другие избегают его.

Два застройщика проектов Lehigh Valley — Bayer Properties и Stanbery Development — используют слова «высококлассный» и его близкий родственник «высококлассный» для описания своих проектов.Но Poag & McEwen Lifestyle Centres, компании, которой приписывают создание концепции центра стиля жизни, избегает слов.

Президент Poag & McEwen Терри МакИвен разделяет определение Гринберга «высококлассных» — Neiman-Marcus, Tiffany’s и им подобных. Эти магазины обслуживают небольшое количество состоятельных покупателей, в то время как МакИвен сказал, что проекты его компании предназначены для более широкого круга покупателей.

«Мы не используем слово« высококлассный », — сказал МакИвен.

При таком подходе Poag & McEwen обходит стороной споры о розничной торговле, которые никогда не будут разрешены.

Определение высококлассного «не будет чистым, не может быть чистым и не чистым», — сказал аналитик Теслер. «Вы пытаетесь сделать очень серый район черно-белым».

В долгосрочной перспективе «высококлассный» может быть просто еще одной частью розничной номенклатуры, придуманной для чьей-то выгоды — например, название «центр образа жизни», — предполагает Теслер.

«Что такое центр стиля жизни?» он сказал. «Это стриптиз-центр с деревьями … и широкими тротуарами, и красивым освещением, и скамейкой на улице.»

[email protected]

610-820-6664

***

Как повысить качество видео до 4K, 8K и выше

Последние девять месяцев я работал над тем, что назвал «Проект Deep Space Nine Upscale Project» (DS9UP). Цель DS9UP — создать новую, значительно улучшенную версию шоу, применив современные методы обработки к исходному DVD-источнику, прежде чем использовать программное обеспечение на основе AI для создания версии шоу с более высоким разрешением.Это заставило меня задуматься об апскейлинге и апскейлинге в целом. Апскейлинг — это не та функция, о которой мы много говорим, но то, как ваш телевизор обрабатывает ее (или, наоборот, как вы используете эту возможность на ПК), может существенно повлиять на то, как вы воспринимаете контент.

Слово «высококлассный» в общем означает «улучшить ценность или качество чего-либо». В области видео и ПК это почти всегда ссылка на повышение эффективного разрешения фрагмента контента. Обычно существует очевидная разница между апскейлингом и собственным разрешением.Если вы масштабируете видео 1080p до 4K, это означает, что вы берете вход 1080p и используете комбинацию оборудования и программного обеспечения для создания большего изображения. Это масштабированное изображение не будет идентично исходному сигналу 4K, но оно должно обеспечивать лучшее изображение, чем то, что ранее было доступно на вашем телевизоре 720p или 1080p.

Ключевое слово: «следует». Скалярное качество видео в телевизорах может сильно различаться в зависимости от семейства продуктов. В некоторых случаях вам может быть лучше использовать графический процессор для управления изображением, чем полагаться на встроенные возможности масштабирования телевизора, в то время как другие телевизоры имеют отличные апскейлеры.Производители редко раскрывают свой выбор оборудования для апскейлинга, но более дорогие телевизоры должны иметь улучшенные возможности апскейлинга. Если у вас есть UHD-проигрыватель Blu-ray в паре с более старым или более низким качеством телевизора 1080p или 4K, вы можете даже получить лучшие результаты, пропустив все видеосигналы через проигрыватель Blu-ray, а не через телевизор. Вообще говоря, хороший апскейлер для ТВ считается таким же хорошим или лучше, чем графический процессор.

Как создается скалярная колбаса

Самая основная функция средства масштабирования видео — брать любое получаемое изображение — 480i, 720p, 1080p — и растягивать его на весь экран.Без этой функции сигнал 1080p занимал бы лишь часть экрана телевизора 4K. Это простое изменение размера обычно выполняется путем взятия каждого отдельного пикселя 1080p и создания из него четырех пикселей (помните, что 4K в четыре раза больше пикселей, чем 1080p).

Но многие телевизоры и проигрыватели Blu-ray делают больше, чем просто выполняют простое отображение 1: 4. Они также используют методы обработки видео, чтобы экстраполировать, какие детали должны присутствовать в сцене. Насколько хорошо это работает, зависит от типа масштабируемого контента.

Изображение предоставлено DisplayNinja

На изображении выше вы можете увидеть, что масштабированный 4K имеет гораздо больше нюансов, чем простое отображение 1: 4 во второй сетке слева. Если вам не удается увидеть разницу между апскейлингом 1080p и исходным разрешением 4K, посмотрите на блоки с левой стороны в самой первой строке и на правые блоки в самой последней строке. Исходное изображение 4K имеет совершенно разные цвета, чем изображение 1080p в R1C2 (это 1-я строка, 2-й столбец), R1C3 и R8C8.По мере того, как количество доступных лошадиных сил в телевизорах увеличивалось, также выросло качество и сложность их интегрированных апскейлеров. Некоторые современные телевизоры имеют сложные алгоритмы повышения резкости для устранения размытия, создаваемого алгоритмами апскейлинга и интерполяции, достаточно хорошими, чтобы почти соответствовать точности исходного сигнала 4K.

Как все это выглядит с реальным контентом? Ответить на этот вопрос может статья Rtings от 2017 года. Первое изображение ниже из набора 4K, отображающего 1080p в увеличенном разрешении 4K, а второе — родное 1080p.

Изображение от Rtings

Если вам не удается увидеть разницу между двумя изображениями, откройте их оба в новой вкладке и сфокусируйте глаза ближе к центру изображения. Видите дом с коричневой крышей рядом с центром изображения, с тремя окнами, выходящими примерно на юго-юго-запад, а четвертое — на восток? (Все сигналы направления основаны на положении севера «вверх», а не на направлении солнечного света). Посмотрите на это конкретное место на обоих изображениях и на крыши соседних зданий.Разница должна броситься в глаза. В этом случае даже при использовании телевизоров, выпущенных в 2015 году, апскейлинг 1080p до 4K лучше, чем изображение 1080p.

Image by Rtings

Если у вас старый телевизор или бюджетная модель 4K, есть один очевидный способ улучшить масштабирование вашего телевизора: купить телевизор лучшего качества. К сожалению, невозможно предсказать, насколько и это будет работать, не зная точно, чем вы владеете сейчас и что вы планируете купить взамен. Чем старше ваш текущий телевизор, тем больше шансов, что новый набор будет предлагать обновления во всех отношениях, но многие из этих улучшений могут не иметь ничего общего с тем, как ваш апскейлер обрабатывает контент <4K.

Если вы недовольны своим нынешним телевизором, не можете заменить его в данный момент и у вас есть высококачественный проигрыватель Blu-ray или UHD, вы также можете попробовать запускать контент через его апскейлер, а не полагаться на него. телевизор, чтобы справиться с этим. В некоторых случаях топовый UHD-проигрыватель Blu-ray может дать больше впечатлений, чем 4K-телевизор начального уровня, созданный несколько лет назад. Если вы все еще используете DVD-плеер для передачи изображения на посредственную панель 1080p или 4K, когда / если вы воспроизводите DVD, и вместо этого вы можете переключиться на высококачественный Blu-ray / UHD Blu-ray-плеер, я буду пробовать.Это может помочь, а может и не помочь, но точно не повредит. Здесь вы пытаетесь направить сигнал через апскейлер, что даст ему наилучшее качество.

Все еще нужно изображение более высокого качества? Тебе повезло.

AI Processing в реальном времени

Я сам не тестировал самую последнюю версию Nvidia Shield, но на Nvidia.com есть демонстрация, с которой вы действительно можете поиграть, чтобы применить эффект, предлагаемый телевизором. Вот скриншот эффекта. Я расположил ползунок над глазом ящерицы, потому что с него легче всего увидеть влияние апскейлера:

Слева: обычное масштабирование
Справа: Nvidia Shield

Все еще не ясно? Вот увеличенная версия того же скриншота.

Изображение слева — это традиционный апскейлер, изображение справа — это Nvidia Shield, когда его просят увеличить контент с 720p или 1080p до 4K (контент ниже 720p не поддерживается для апскейлинга, по крайней мере, пока). Компонент AI апскейлера, очевидно, улучшает общее качество изображения. По моему опыту работы с такими приложениями, как TVEAI, это справедливое представление об улучшениях, которых можно достичь.

Сторонние обзоры Shield согласны. Slashgear пишет, что когда это срабатывает, эффект «довольно удивительный».«Насколько мне известно, Shield в настоящее время является единственной приставкой или двухмерной приставкой, предлагающей такую ​​функциональность.

Предварительная обработка видео

Этот шаг технически необязателен, потому что нет причин, по которым вы не можете взять исходный файл DVD и передать его напрямую через Topaz или аналогичный продукт. Однако часто это не идеальный способ добиться максимального качества из вашего источника. Можно добиться значительного улучшения качества изображения с помощью традиционных инструментов для редактирования видео. Первое изображение ниже из Deep Space Nine , эпизод 1 × 03, «Прошлый пролог.

Вот то же изображение после обработки, но до масштабирования. Я применил фильтры шумоподавления и фильтр повышения резкости соответственно. При использовании некоторых из этих техник необходимо соблюдать тщательный баланс между сглаживанием элементов и прорисовкой деталей.

В качестве другого примера, вот пара снимков из Stargate: SG-1.

Без предварительной обработки, без апскейлинга.

Обработано, но не масштабировано. Опять же, есть небольшое, но заметное улучшение резкости.Я не настраивал свою работу над SG-1 так, как с DS9, так что, вероятно, я мог бы улучшить это еще больше, если немного потренировался.

Основная цель данной статьи — охватить программное обеспечение для апскейлинга, но есть скромный набор улучшений, которых можно добиться, вообще не используя его. Рабочие нагрузки тоже не занимают много времени. Мы можем углубиться в это в будущем.

Повышение разрешения видео с помощью стороннего программного обеспечения

Наконец, есть возможность использовать стороннее средство повышения разрешения, такое как Topaz Video Enhance AI.Я широко использовал TVEAI в рамках проекта Deep Space Nine Upscale Project и могу подтвердить, что приложение способно давать ошеломляющие результаты. Однако одним из основных ограничений TVEAI является то, что в настоящее время он поддерживает только платформы Intel и Nvidia для обработки с ускорением на GPU. Однако я уже тестирую альфа-версии программного обеспечения с поддержкой AMD GPU, так что эта функция скоро появится.

Благодаря апскейлингу на основе ИИ исторические научно-фантастические утки, такие как функция «Улучшение», теперь стали реальностью.В кодировании видео есть трюизм, что ни одно приложение на Земле не может вернуть данные туда, где их никогда не было, и это верно и сегодня. Причина, по которой мы теперь можем «улучшать» изображения для повышения их четкости, заключается в том, что приложения на основе ИИ способны анализировать видеополе и оценивать, какие детали были бы , если бы изображение уже было в более высоком качестве.

Один из типичных способов обучения приложения для улучшения видео, такого как TVEAI, — предоставить нейронной сети одно и то же изображение или видео как в высоком, так и в низком качестве.Затем нейронной сети ставится задача найти способ сделать источник низкого качества максимально похожим на источник высокого качества. Вместо того, чтобы пытаться научить компьютер, как выглядят линии и кривые, приводя кропотливые примеры, мы развили способность заставлять компьютер выполнять работу по обучению самому себе. Вот почему «Enhance» за несколько лет превратился из полной шутки в правдоподобную реальность.

Такие приложения, как Topaz Video Enhance AI, могут стоить несколько сотен долларов, и они не работают в режиме реального времени — RTX 2080, похоже, способен передавать 90-110 кадров в минуту при масштабировании видео с 640 × 480 до 2560 × 1920.Однако результат использования этих приложений — намного лучшая картина, чем вы увидите из любого другого источника.

Источник DVD слева, масштабирование справа.

Я подозреваю, что со временем обработка видео AI и апскейлинг станут более важными, поскольку Intel, Nvidia и AMD представят свои графические процессоры следующего поколения. Очень много старого контента потеряно из-за некачественного источника, и создание специализированных ИИ-процессоров для его исправления, вероятно, потребует некоторого количества кремния для всех заинтересованных сторон в течение следующих нескольких лет.

Вот увеличенная версия тех же скриншотов, которые я разместил выше. Во-первых, доктор Башир:

Здесь есть изменение цвета — я могу это исправить, но не делал этого до того, как сделал этот снимок экрана. Увеличено с помощью Gaia-HQ.

В этом случае апскейлер удалил блики лобового стекла, которые были на предыдущих снимках DVD. Это меня не особо беспокоит — показано, что у гоа’улдов есть способность создавать силовые поля над голым пространством, и я не пропускаю окно, но он на отличается от на DVD, и я бы никогда не стал спорить иначе.Возможно, что другая модель сохранит эту деталь более точно.

Наконец, вот версия титров, которые я загрузил после публикации моей статьи «Чего ни один фанат не видел раньше» на прошлой неделе. Это новые кадры — я наконец подавил волну.

Апскейлеры потрясающие и только улучшаются. Это верно независимо от того, как вы потребляете контент или какие технологии вы используете для этого. В зависимости от того, какие шоу вам нравятся, и от того, сколько времени вы хотите посвятить проекту, вам придется внести огромные улучшения… или вы можете просто подождать несколько лет и купить телевизор получше.Вы можете узнать больше о DS9UP по ссылкам ниже.

Сейчас прочитано :

Что это за слово? Используйте Word Type, чтобы узнать!

К сожалению, с текущей базой данных, в которой работает этот сайт, у меня нет данных о том, какие значения ~ term ~ используются чаще всего. У меня есть идеи, как это исправить, но мне нужно найти источник «чувственных» частот. Надеюсь, приведенной выше информации достаточно, чтобы помочь вам понять часть речи ~ term ~ и угадать его наиболее распространенное использование.

Тип слова

Для тех, кто интересуется небольшой информацией об этом сайте: это побочный проект, который я разработал во время работы над описанием слов и связанных слов. Оба этих проекта основаны на словах, но преследуют гораздо более грандиозные цели. У меня была идея для веб-сайта, который просто объясняет типы слов в словах, которые вы ищете — точно так же, как словарь, но сосредоточенный на части речи слов. И так как у меня уже была большая часть инфраструктуры с двух других сайтов, я подумал, что для ее запуска и работы не потребуется слишком много работы.

Словарь основан на замечательном проекте Wiktionary от Викимедиа. Сначала я начал с WordNet, но затем понял, что в нем отсутствуют многие типы слов / лемм (определители, местоимения, сокращения и многое другое). Это побудило меня исследовать «Словарь Вебстера» 1913 года, который сейчас находится в открытом доступе. Однако после целого дня работы над его преобразованием в базу данных я понял, что было слишком много ошибок (особенно с тегами части речи), чтобы это было жизнеспособным для Word Type.

Наконец, я вернулся к Викисловарь, о котором я уже знал, но избегал, потому что он неправильно структурирован для синтаксического анализа. Именно тогда я наткнулся на проект UBY — удивительный проект, который требует большего признания. Исследователи проанализировали весь Викисловарь и другие источники и собрали все в один унифицированный ресурс. Я просто извлек записи из Викисловаря и закинул их в этот интерфейс! Так что работы потребовалось немного больше, чем ожидалось, но я счастлив, что продолжил работать после пары первых промахов.

Особая благодарность разработчикам открытого исходного кода, который использовался в этом проекте: проекту UBY (упомянутому выше), @mongodb и express.js.

В настоящее время это основано на версии викисловаря, которой несколько лет. Я планирую в ближайшее время обновить его до более новой версии, и это обновление должно внести множество новых смысловых значений для многих слов (или, точнее, леммы).

следующий большой шаг в B2C

Клиентский опыт (CX) — решающий фактор в успешной продаже товаров или услуг.За последние несколько лет произошел значительный сдвиг фокуса: теперь процессами управляют клиенты. У них есть сила создать или разрушить вашу компанию. Успех вашего бизнеса и положительный опыт работы с клиентами идут рука об руку. Чем больше удовлетворен покупатель, тем больше вероятность, что он будет лоялен к вашему бренду. SAP создала решение по оптимизации клиентского опыта специально для рынка B2C или прямого обращения к клиенту: SAP Upscale Commerce.

Представляем платформу электронной коммерции нового поколения

SAP Upscale Commerce — это коммерческая платформа B2C нового поколения, предназначенная для розничной торговли и прямых клиентов . Решение предлагает прогрессивный интернет-магазин, оптимизированный для мобильных устройств, планшетов и настольных компьютеров, и позволяет предприятиям создавать свои собственные интуитивно понятные мобильные приложения в один клик. Платформа предлагает бесканальную торговлю с интеллектуальными персонализированными витринами для максимального удовлетворения клиентов и получения прибыли.

Замечательно, насколько просто все работает на стороне клиента. Примером является функция покупки одним касанием для клиентов, которая позволяет им покупать продукт одним щелчком мыши.Продукт будет отправлен напрямую на их основной адрес, а оплата за него будет произведена через их учетную запись Apple Pay / Android Pay. Это не только легкое занятие для клиентов, но и удобство для сотрудников розничной торговли. Одна из ключевых особенностей состоит в том, что все состоит из модульных строительных блоков. Определенные блоки просто перетащить на страницу, чтобы создать, например, домашнюю страницу. Но SAP Upscale Commerce — это гораздо больше.

Приоритет скорости и гибкости для всех заинтересованных сторон

SAP Upscale Commerce — это облачное решение, которое можно очень быстро развернуть.Акцент SAP на конфигурациях без кода и микросервисах API (подробнее об этом позже) гарантирует развертывание всего за несколько дней без использования кода, что значительно снижает общую стоимость владения. Решение предлагает интуитивно понятный интерфейс перетаскивания, который компания розничной торговли может использовать для создания витрин своего интернет-магазина.

Страницы (известные как «сборники рассказов») также состоят из модульных строительных блоков, что позволяет легко и быстро собрать веб-сайт самостоятельно. Можно создавать богатые сборники рассказов, включающие как статический, так и динамический контент.Вы можете добавлять изображения и видео, статьи, продукты, категории и многое другое на страницу, но есть также возможность добавления динамического контента, такого как «Следующие продажи AI» и «Категории AI Tailored». В разделе «Следующие продажи AI» отображаются персонализированные рекомендации по продукту, основанные на их поведенческих данных, а в разделе «Категории AI Tailored» отображается настроенная категория, основанная на сходстве в просматриваемом пользователем контенте. Вы правильно прочитали: SAP Upscale Commerce предоставляет готовые возможности искусственного интеллекта для улучшения вашего рейтинга кликов и увеличения вашего дохода.

Не волнуйтесь, если вы не можете достичь всех своих целей в дизайне с помощью готовых функций — индивидуальная разработка по-прежнему возможна. Таким образом, компании могут создавать пользовательские интерфейсы непосредственно поверх базовых API и микросервисов, что обеспечивает беспрецедентную гибкость и бесконечную расширяемость.

Как сотрудник, всеми процессами можно управлять из бэк-офиса SAP Upscale Commerce. Добавление данных о продукте, создание структуры категорий, сборка новых страниц и написание сообщений или статей в блогах — все это можно сделать с помощью одного и того же инструмента.Вы даже можете клонировать весь веб-сайт одним щелчком мыши — интересная возможность, если вы хотите создать еще один веб-сайт для другого подразделения, бренда, инвентаря и т. Д. И не хотите начинать с нуля. Пользователи могут назначать одну страницу нескольким веб-сайтам одновременно, например, на веб-сайте или в блоге вашей компании. Еще одна замечательная функция — это возможность одним щелчком мыши перевести ваш веб-сайт в приложение Apple iOS / Android без необходимости участия разработчика.

Микросервисы на основе API дают вам именно то, что вам нужно

Самое лучшее в решении? Вы используете только то, что вам нужно.Каждый API связан с микросервисом, поэтому, если вам не нужен один из них, вы просто не активируете его. Это позволяет скрыть функции, которые вы не используете, что позволяет сотрудникам сосредоточиться на функциях, которые действительно важны для них. Если позже вы решите расширить используемые вами функции, просто включите соответствующие API-интерфейсы.

Интеграция с поставщиками налоговых и платежных услуг является готовой конфигурацией, и для ее активации не требуется никакой разработки.Более того, поисковая система входит в стандартную комплектацию. Если, например, вы хотите использовать более продвинутый, такой как, например, Algolia, можно интегрировать сторонние поисковые системы. SAP Upscale Commerce можно использовать как автономное решение, но его также можно интегрировать с вашими существующими системами, что дает вам полный контроль. Непрерывные обновления также гарантируют, что у вас всегда будет последняя версия.

ИИ и машинное обучение с реальным, ощутимым влиянием

Отличное качество обслуживания клиентов является ключевым моментом, а с помощью этих готовых к работе функций искусственного интеллекта и машинного обучения вы действительно сможете выделиться среди конкурентов.Непрерывное машинное обучение применяется для определения действенных ответов на три ключевых вопроса:

  • Персонализация: что интересует покупателя?
  • Мерчандайзинг: что нам нужно продвигать как компании?
  • Распределенное управление заказами: будем ли мы использовать подход «от продуктов к клиентам» или «от клиентов к продукту»?

Также доступны другие функции ИИ, включая рекомендации по содержанию на основе ИИ. Алгоритм AI показывает наиболее подходящий контент для каждого отдельного клиента.Вы даже можете создавать целые страницы AI, основанные на потребностях и интересах клиента.

Еще одна интересная функция — выполнение заказов AI, которое отменяет фиксированные правила выполнения заказов. Каждый источник инвентаря делает ставку на выполнение запроса клиента на доставку, исходя из его складской позиции в реальном времени, местного спроса и стоимости выполнения. С помощью этой системы торгов в режиме реального времени розничные фирмы могут максимизировать прибыль, сократить время доставки и снизить выбросы углекислого газа. Алгоритм учитывает разные точки отгрузки, включая распределительные центры, дропшипперов, прямую доставку из магазина — все возможные источники запасов.

Mobigram делает вещи личными

Персональная витрина SAP

Mobigram на базе искусственного интеллекта динамически оптимизирует ассортимент товаров, показываемый каждому посетителю. По сути, каждый клиент видит свой персонализированный веб-сайт, который создается в мгновение ока с помощью ИИ. Mobigram уравновешивает потребности розничного продавца и качество обслуживания клиентов, применяя многоуровневый искусственный интеллект и подходы глубокого обучения. Он постоянно учится на каждом взаимодействии с клиентом, автоматически увеличивая прибыль.Спрос и предложение отслеживаются в режиме реального времени, а ассортимент продукции, видимый покупателю, корректируется автоматически.

SAP Upscale Commerce использует методы управления категориями, уже проверенные в розничной торговле, но применяемые в онлайн-среде. Он извлекает уроки из прошлых результатов сезонных выпусков, что значительно упрощает планирование следующего сезона и оптимизацию его прибыльности. Для этого решение использует управление цифровыми категориями в реальном времени, заполняя определенные слоты конкретными продуктами.Эти продукты, представленные в Tailored Set, динамически корректируются в зависимости от контекста клиента в реальном времени и уровня запасов компании. Если доступный запас определенного продукта увеличивается, этот продукт автоматически будет чаще предлагаться покупателям.

Для категорийных менеджеров эта возможность также может дать важную информацию. Данные о поведении клиентов и продажах можно отслеживать в бэк-офисе SAP Upscale Commerce. Панель управления в бэк-офисе упрощает изучение данных, чтобы отслеживать, какие продукты или категории имеют тенденцию, а какие — плохо.С помощью панели управления Back Office можно одним щелчком извлечь всю категорию или страницу содержимого с веб-сайта. Кроме того, вы можете проверить, какие именно бренды привлекают новых покупателей. Эти аналитические данные предлагают четкое представление о поведении ваших клиентов и помогают категорийным менеджерам принимать сложные решения в области мерчандайзинга.

Программы непрерывности: самый безопасный способ получения регулярного дохода

Разве не было бы замечательно, если бы клиенты автоматически изменяли заказ на одни и те же продукты каждую неделю или месяц? SAP Upscale Commerce предлагает многообещающую программу непрерывности, целью которой является преобразование клиентов, совершающих разовые покупки, в программу автоматического пополнения с использованием встроенного ИИ.После того, как клиенты приобретут продукт, который также можно автоматически пополнять, они получат уведомление о повторном заказе, когда ожидается, что продукт закончится, и они смогут пополнить продукт одним щелчком мыши. Программа непрерывности поддерживает не только автоматическое пополнение для отдельных продуктов, но и, например, для домашних абонементов. Этот встроенный механизм прогнозирования непрерывности превращает потребителей в автоматов пополнения запасов, позволяя розничным торговцам или брендам получать более высокую прибыль за счет регулярных доходов.

Воспользуйтесь преимуществами подхода, ориентированного на API

Мы уже говорили об этом: SAP Upscale Commerce использует подход, ориентированный на API.Таким образом, все на платформе Upscale доступно через API. Каждый API подключен к микросервису и дает вам гибкость для интеграции любой платформы с Upscale в режиме реального времени для всех видов объектов: продуктов, контента, инвентаря, заказов и т. Д. Вы можете непрерывно передавать заказы в свою ERP (в виде счетов-фактур) или в любое место (система управления складом или магазины) для выполнения, в систему CRM (как брошенные тележки) или во все вместе — буквенные коды не нужны. SAP Upscale Commerce предлагает вариант конфигурации «укажи и щелкни», позволяющий пользователям перетаскивать файлы для настройки импорта или экспорта файлов данных и развертывания по расписанию.Это также упрощает определение новых настраиваемых полей или вариантов продукта на лету.

SAP Upscale Commerce: краткое описание функций

  • Облачная среда
  • Гибкий подход, ориентированный на API
  • Mobile-first — покупка в один клик
  • Перевод веб-сайтов в приложения для iOS / Android одним щелчком мыши
  • Интуитивно понятный интерфейс перетаскивания без кода
  • Готовые к использованию функции искусственного интеллекта и машинного обучения предлагают беспрецедентную персонализацию
  • Управляйте всем из одного приложения: бэк-офис SAP Upscale Commerce
  • Используйте его как отдельное решение или интегрируйте с существующими системами
  • Выполнение заказов на основе искусственного интеллекта для увеличения прибыли, сокращения сроков доставки и снижения выбросов углекислого газа
  • Mobigram для личной витрины с искусственным интеллектом, включая информативную панель управления
  • Встроенный механизм прогнозирования непрерывности предлагает автоматическое пополнение для регулярного дохода

Ищете более подробную информацию о SAP Upscale Commerce или хотите узнать, что это мощное средство может сделать для вашей компании B2C?

связаться

высококлассных ресторанов / Обсуждение — Rochester Wiki

Эта страница предназначена для обсуждения содержания высококлассных ресторанов.

Комментарии:

Примечание: Вы должны авторизоваться, чтобы добавить комментарии


30-08-2007, 17:05 Я хотел бы предоставить слово для обсуждения определения понятия «высококлассный». Некоторые люди, кажется, не согласны с некоторыми классификациями ресторанов, поэтому давайте остановимся на определении «высококлассного» и продолжим. MrRochester, меня особенно интересуют ваши определения как «высококлассный», так и «модный», в чем разница и почему это важно.—Рэйчел Блюменталь


30-08-2007, 17:24 Высококлассный ресторан — это ресторан, в котором подают сорбет, чтобы очистить вашу палитру и придающий ему привкус старого мира. В кухонных гарнитурах больше вилок, чем вам нужно, и десертная ложка.

В Америке осталось очень мало.

Высококлассные услуги не имеют ничего общего с ценой, это связано с презентацией и обслуживанием.

Trendy — это современный стиль питания. Высококлассная еда, но непринужденная обстановка и спокойное обслуживание.

Это важно, потому что те, кто никогда раньше не был в ресторане или приехал из другого города, должны знать, как одеваться / вести себя в ресторане. Это Рочестер, мы не претенциозны, так что вас, вероятно, все равно обслужат. Но это может помочь.

Trendy — стиль Южной Калифорнии, где допустимы джинсы и спортивная куртка.

Высококлассный — костюм или лучше было бы подходящей одеждой. — Мистер Рочестер


30-08-2007, 17:36:05 Я вижу вашу разницу.Я также думаю, что категория «высококлассные» стала универсальной для ресторанов, не входящих в сеть, и в которых закуски стоят более 20 долларов. Но я не думаю, что «Модный» — подходящее название для того, что вы пытаетесь запечатлеть. Для меня «Модный» означает «последнее популярное место». Кроме того, если мы собираемся разбить апскейл на части, что, я думаю, вероятно, стоит сделать, давайте попробуем более двух (модный или апскейл) — Роттен-Честер.


30-08-2007, 18:24:48 То, что Мистер называет «высококлассным», было бы лучше охарактеризовать как «изысканный ресторан».Я вижу, что «высококлассный» имеет более широкое определение и включает рестораны, которые можно описать как «изысканные блюда», «модные», «все в стиле модерн» и т. Д. Может быть, подзаголовки в категории будут полезны? Честно говоря, это Рочестер — есть ли у нас хоть один ресторан, в котором парни должны носить куртку? —EastSideStephen


30-08-2007, 18:26 Тем не менее, я думаю, что в списке «высококлассных» есть несколько ресторанов, которым точно не место.Я позволю вам, Рочестарианцам, это исправить. —EastSideStephen


30-08-2007, 18:29 О, а что касается беспокойства Стива по поводу приезжих из других городов: я думаю, что лучше всего об этом рассказать в описании ресторана. Я не думаю, что нам нужна записка «об одежде» для каждого ресторана — просто когда она заметна. —EastSideStephen


30-08-2007, 22:29 Думаю, поэтому многие ресторанные гиды просто делят заведения по стоимости первых блюд и по тому, по меню они или нет.Похоже, именно так обстоит дело с текущим списком высококлассных ресторанов. Мистер Рочестер, похоже, ищет изысканную французскую кухню, которой, по общему признанию, не хватает в Рочестере. Однако по его определению в мире не может быть высококлассных традиционных китайских / японских ресторанов, поскольку европейское столовое серебро было бы неуместным и нежелательным в такой обстановке. —Дэйв Мэхон


14-09-2007, 11:41:10 Привет! Я только что переехал из Италии со своей женой, поскольку она начала получать докторскую степень в UoR.

RocWiki был для нас бесценным ресурсом, спасибо!

Просто вопрос по этому разделу: почему вы продолжаете указывать Bamba Bistro как Rio Bamba (его старое название)? У меня возникло искушение отредактировать страницу, но, поскольку я не знаю правил этикета, я не хочу начинать не с той ноги! 🙂 —AndreaCogliati


14-09-2007, 12:39:53 Андреа, добро пожаловать в RocWiki. Если вы видите страницу с неверным названием, переименуйте ее. Когда вы выполняете переименование, программа перенаправляет людей со старой страницы на новую, поэтому нет риска разрыва ссылок.—РоттенЧестер


14-09-2007, 14:32 Только мои 2 евроцента на обсуждение определения высококлассного ресторана.

Я обычно оцениваю рестораны на основе следующих шести факторов: еда, карта вин, расположение, атмосфера, презентация, обслуживание.

Высококлассный ресторан должен иметь наивысшие оценки в каждой категории (ну, я могу согласиться с низкой оценкой местоположения, возможно). Следовательно, поскольку хорошая еда, вино, местоположение, мебель, посуда, стеклянная посуда, столовое серебро и люди стоят денег, в некотором смысле высококлассность связана с ценой.Когда друзья спрашивают меня о хороших ресторанах по низким ценам, я просто отвечаю: «Ничего подобного». У вас может быть хорошая еда по разумной цене, но вам, вероятно, придется пожертвовать чем-то другим. Чаще вы будете есть плохую пищу и будете сильно заряжены!

Итак, я предлагаю указать, где это уместно, выделяется ли ресторан по одному или нескольким из упомянутых мною факторов. —AndreaCogliati

iSIZE UpScale | iSize

Автономный тест: SD-> HD и HD-> 4K Video Upscaling

Несмотря на то, что формы конкурса NTIRE2017 являются очень полезным тестом для определения состояния дел в масштабировании изображения, высокотекстурированный контент изображения, используемый в конкурсе, может не полностью представляют типичные условия, встречающиеся в реальных видеопоследовательностях.

Таким образом, во втором тесте мы уменьшили масштаб шестнадцати 4K и двадцати двух несжатых видеопоследовательностей HD с xiph.org (с помощью функции imresize () в Matlab), чтобы оценить производительность масштабирования стандартных видеопоследовательностей. Результаты в таблице 2 показывают производительность бикубического фильтра и фильтра Ланцоша (в реализации OpenCV аналогичные результаты были получены с различными ядрами Ланцоша, адаптивными фильтрами по краям и другими многофазными интерполяторами), а также:

  • решение SNU_CVLab2, которое было победившее решение конкурса NTIRE2017;
  • хорошо известный метод FSRCNN из CVPR 2016 [3].

Апскейлер iSIZE предлагает на более чем 1,2 дБ среднее улучшение по сравнению с линейными фильтрами, достигая при этом времени выполнения на кадр, которое приближается к бикубическому апскейлингу или апскейлингу Ланцоша . Для различных последовательностей улучшение варьируется от 0,6 дБ до 2,2 дБ, в зависимости от содержания каждой видеопоследовательности. Наше решение превосходит победившее решение NTIRE2017. Ближайшим конкурентом нашему подходу является FSRCNN [3]: для апскейлинга SD-> HD FSRCNN предлагает PSNR на 0,32 дБ выше по сравнению с нашим предложением, хотя время выполнения на кадр увеличивается более чем в 130 раз.Важно отметить, что FSRCNN превосходит iSize апскейлер в тестах апскейлинга HD-> 4K.

Стол 2 . Сводка PSNR, процентного уменьшения среднеквадратичной ошибки по сравнению с бикубическим апскейлингом и времени выполнения на кадр для: линейных апскейлеров, победителя конкурса NTIRE2017 и iSIZE. Если не указано иное, все методы выполнялись на графическом процессоре. Время выполнения включает как время графического процессора, так и передачу данных. Технические характеристики системы: Intel Core i5-3570K, 16 ГБ ОЗУ, NVidia GTX 1070 [2] .

Учитывая, что видеопоследовательности, использованные для результатов таблицы 2, могут содержать много кадров с ограниченным текстурным содержимым, средняя разница PSNR, показанная iSIZE и FSRCNN, относительно линейных повышающих масштабов не так высока, как в случае высокотекстурированного NTIRE2017. изображений. Однако, помимо стандартного масштабирования, оптимизированного для PSNR, уникальный IP-адрес iSIZE для «повышения» масштабирования приводит к значительному повышению качества , как показано на визуальных примерах на следующей странице.Это дальнейшее улучшение визуального качества влечет за собой 35% накладных расходов (в среднем) по сравнению с результатами синхронизации iSIZE, указанными в Таблице 1 и Таблице 2. Повышение масштабирования iSIZE может настраиваться адаптивно (от нуля до некоторого), что позволяет настраивать наше решение в соответствии с типом контента, масштабируемым разрешением и настройками дисплея, используемыми клиентским устройством.


[1] «Бикубическая» (классическая) дорожка предназначена для облегчения развертывания недавно предложенных методов для решения задачи, например, на основе сверхразрешения одного изображения на основе одного изображения.Предполагается, что операторы деградации такие же, как обычно используются в недавней литературе по сверхвысокому разрешению. Для получения изображений с низким разрешением используется функция Matlab imresize с настройками по умолчанию (бикубическая интерполяция) и коэффициентом уменьшения 2. Это было протестировано на большом недавно собранном наборе данных -DIV2K- изображений с большим разнообразием содержимого. Более подробную информацию можно найти на странице конкурса [1] .

[2] ЦП: https: // ark.intel.com/products/65520/Intel-Core-i5-3570K-Processor-6M-Cache-up-to-3_80-GHz
RAM: https://www.kingston.com/dataSheets/KHX2133C11D3K4_16GX.pdf
GPU: https://www.asus.com/Graphics-Cards/EX-GTX1070-O8G/

Ссылки

  • Timofte, et al. , «Задача NTIRE 2017 по сверхразрешению одиночных изображений: методы и результаты», Proc. Комп. Vis. и семинары по распознаванию образов (CVPRW) , 2017 IEEE Conf. на комп. Vis. и распознавание образов, CVPR, IEEE, 2017, https: // goo.gl / TQRT7E.
  • Lim, et al. «Расширенные глубокие остаточные сети для сверхвысокого разрешения одиночных изображений», Proc. Комп. Vis. и Семинары по распознаванию образов (CVPRW) , 2017 IEEE Conf. на комп. Vis. и распознавание образов., CVPR, IEEE, 2017, https://goo.gl/PDSTiV.
  • Донг, и др. , «Ускорение сверточной нейронной сети сверхвысокого разрешения», Proc.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *