NVIDIA Background TOP

پرش به ناوبری | پرش به جستجو

خلاصه (Summary)

نکته (NOTE)

سیستم‌عامل:
این اپراتور فقط روی سیستم‌عامل Microsoft Windows پشتیبانی می‌شود.

سخت‌افزار:
این TOP از ماژول AI Green Screening در موتور Nvidia Maxine Video Effects استفاده می‌کند و برای اجرا نیازمند یکی از کارت‌های گرافیک Nvidia RTX سری 20، 30، 40 یا 50 است.

مدل‌های موردنیاز این نود باید به‌صورت جداگانه و از طریق Video Effects SDK متناسب با GPU شما دانلود شوند:
https://www.nvidia.com/en-us/geforce/broadcasting/broadcast-sdk/resources/

توجه داشته باشید که این قابلیت به دلیل تداخل نسخه‌ها با TensorRT، نمی‌تواند در همان پروژه‌ای که از دستگاه ZED استفاده می‌کند، به کار گرفته شود.

توضیح عملکرد

Nvidia Background TOP با استفاده از بخش‌بندی تصویری مبتنی بر هوش مصنوعی (AI Image Segmentation)، فرد را از پس‌زمینه‌ی تصویر جدا می‌کند.
برخلاف RGB Key TOP یا Chroma Key TOP، این اپراتور برای تشخیص پیش‌زمینه و پس‌زمینه از هوش مصنوعی استفاده می‌کند و نیازی به رنگ پس‌زمینه‌ی یکنواخت ندارد.

با این حال، مدل هوش مصنوعی آن برای تشخیص الگوهای خاصی آموزش دیده است (یک انسان در مقابل وب‌کم) و ممکن است در ورودی‌های عمومی یا غیرمعمول، عملکرد ضعیف‌تری نسبت به Key TOPها داشته باشد.

خروجی این نود یک تصویر کلید تک‌رنگ (Monochrome Key Image) است که در آن:

  • پیکسل‌های سفید نمایانگر فرد (پیش‌زمینه)

  • پیکسل‌های سیاه نمایانگر پس‌زمینه هستند

معمولاً از این تصویر کلید برای جایگزینی پس‌زمینه‌ی تصویر منبع، با استفاده از Matte TOP یا سایر نودهای کامپوزیتینگ استفاده می‌شود.

تأخیر پردازش (Latency)

به دلیل زمانی که اجرای مدل هوش مصنوعی نیاز دارد، خروجی Background TOP هنگام پردازش ویدیو چند فریم از تصویر اصلی عقب‌تر خواهد بود.
برای کامپوزیت دقیق، باید تصویر کلید خروجی را با همان فریمی که برای تولید آن استفاده شده همگام‌سازی کنید.

یک روش ساده برای این کار، استفاده از Cache TOP با تنظیم Output Index روی تعداد فریم منفی است.
اگر این نود بین ویدیوی منبع و ورودی کامپوزیتور قرار بگیرد، تصویر منبع را به‌اندازه‌ی لازم به تأخیر می‌اندازد تا با تصویر کلید هم‌زمان شود.

محدودیت‌های ورودی

موتور Background فقط ویدیوهایی را پشتیبانی می‌کند که:

  • حداقل عرض: 512 پیکسل

  • حداقل ارتفاع: 288 پیکسل

نکات (Tips)

نکته:
مدل هوش مصنوعی برای یک نفر که جلوی وب‌کم نشسته بهینه شده است.
ویدیوهایی با:

  • نمایش تمام‌قد بدن

  • چند نفر در تصویر

  • زاویه‌های غیرمستقیم دوربین

ممکن است نتیجه‌ی مطلوبی نداشته باشند.

نکته:
علاوه بر انتخاب حالت Performance از طریق پارامتر Mode، می‌توانید با کاهش رزولوشن تصویر ورودی، فشار روی GPU را کم کنید.
همچنین استفاده از Blur TOP و Level TOP می‌تواند قبل از کامپوزیت، به بهبود و پالایش تصویر کلید خروجی کمک کند.

nvidiabackgroundTOP_Class (PythonIcon.png)

فهرست مطالب (Contents)

  1. خلاصه

  2. پارامترها – صفحه‌ی Background

  3. پارامترها – صفحه‌ی Common

  4. ورودی‌های اپراتور

  5. کانال‌های Info CHOP
      5.1 کانال‌های اطلاعاتی مشترک TOP
      5.2 کانال‌های اطلاعاتی مشترک اپراتور

پارامترها – صفحه‌ی Background

Mode (mode) ⊞

انتخاب حالت اجرای مدل هوش مصنوعی.

Chair Segment (segment) ⊞

انتخاب نحوه‌ی تفکیک (Segment) صندلی‌ها.

پارامترها – صفحه‌ی Common

Output Resolution (outputresolution) ⊞

تغییر سریع رزولوشن داده‌های خروجی TOP.

Resolution (resolution) ⊞

فقط زمانی فعال است که پارامتر Resolution روی Custom Resolution قرار داشته باشد.
برخی Generatorها مانند Constant و Ramp ورودی ندارند و فقط از این فیلد برای تعیین اندازه استفاده می‌کنند.
منوی کشویی سمت راست شامل چند رزولوشن پرکاربرد است.

Resolution Menu (resmenu)

منوی کشویی شامل چند رزولوشن رایج.

Use Global Res Multiplier (resmult)

از Global Resolution Multiplier در مسیر
Edit > Preferences > TOPs
استفاده می‌کند و رزولوشن همه‌ی TOPها را در مقدار مشخص‌شده ضرب می‌کند.

این قابلیت برای اجرا روی سیستم‌هایی با توان سخت‌افزاری متفاوت بسیار مفید است.
مثلاً پروژه‌ای که روی ورک‌استیشن با حافظه‌ی گرافیکی زیاد طراحی شده، می‌تواند روی لپ‌تاپ ضعیف‌تر با تنظیم این مقدار روی نصف یا یک‌چهارم، با سرعت قابل‌قبولی اجرا شود.
با فعال‌بودن این گزینه، این TOP نیز تحت تأثیر ضریب سراسری قرار می‌گیرد.

Output Aspect (outputaspect) ⊞

تنظیم نسبت تصویر خروجی و امکان نمایش تکسچرها در هر اندازه‌ای.
در کامپوزیت TOPهایی با نسبت تصویر متفاوت، ممکن است نتایج غیرمنتظره ایجاد شود.

(امکان تعریف تصاویر با پیکسل‌های غیرمربعی با استفاده از xres، yres، aspectx و aspecty وجود دارد، زمانی که xres/yres برابر aspectx/aspecty نباشد.)

Aspect (aspect) ⊞

زمانی استفاده می‌شود که Output Aspect روی Custom Aspect تنظیم شده باشد.

Aspect Menu (armenu)

منوی کشویی شامل نسبت‌های تصویر رایج.

Input Smoothness (inputfiltertype) ⊞

کنترل نوع فیلتر شدن پیکسل‌ها روی تصویر ورودی TOP.

Fill Viewer (fillmode) ⊞

تعیین نحوه‌ی نمایش تصویر TOP در Viewer.

نکته:
برای درک بهتر عملکرد TOPها، در ابتدای کار بهتر است این گزینه روی Native Resolution قرار بگیرد تا بدون تغییر اندازه‌ی خودکار Viewer، تصویر واقعی دیده شود.

Viewer Smoothness (filtertype) ⊞

کنترل فیلتر پیکسلی در Viewerها.

Passes (npasses)

عملیات TOP را به تعداد مشخص‌شده تکرار می‌کند.
مقدار بالاتر از ۱ معادل این است که خروجی هر پاس دوباره به ورودی اول نود داده شده و پردازش تکرار شود.
سایر ورودی‌ها و پارامترها در هر پاس ثابت می‌مانند.

Channel Mask (chanmask)

انتخاب کانال‌هایی که TOP روی آن‌ها اعمال می‌شود (R، G، B یا A).
به‌صورت پیش‌فرض همه‌ی کانال‌ها فعال هستند.

Pixel Format (format) ⊞

فرمت ذخیره‌سازی داده برای هر کانال تصویر (R، G، B و A).
برای اطلاعات بیشتر به بخش Pixel Formats مراجعه کنید.

ورودی‌های اپراتور (Operator Inputs)

Input 0: —

کانال‌های Info CHOP

اطلاعات تکمیلی مربوط به Nvidia Background TOP از طریق Info CHOP قابل دسترسی است.

کانال‌های اطلاعاتی مشترک TOP

  • resx – رزولوشن افقی TOP بر حسب پیکسل

  • resy – رزولوشن عمودی TOP بر حسب پیکسل

  • aspectx – نسبت افقی تصویر

  • aspecty – نسبت عمودی تصویر

  • depth – عمق آرایه‌ی ۲بعدی یا ۳بعدی در صورت وجود texture array

  • gpu_memory_used – مقدار کل حافظه‌ی تکسچر مصرف‌شده توسط این TOP

کانال‌های اطلاعاتی مشترک اپراتور

  • total_cooks – تعداد دفعات cook شدن اپراتور از شروع اجرا

  • cook_time – مدت زمان آخرین cook (میلی‌ثانیه)

  • cook_frame – شماره‌ی فریم آخرین cook نسبت به تایم‌لاین کامپوننت

  • cook_abs_frame – شماره‌ی فریم آخرین cook نسبت به زمان مطلق

  • cook_start_time – زمان شروع cook در آن فریم (میلی‌ثانیه)

  • cook_end_time – زمان پایان cook در آن فریم (میلی‌ثانیه)

  • cooked_this_frame – اگر اپراتور در این فریم cook شده باشد مقدار ۱

  • warnings – تعداد هشدارها (در صورت وجود)

  • errors – تعداد خطاها (در صورت وجود)