こちらは旧バージョンのYMM3に関するページです。最新のYMM4についてはこちらをご確認ください。
AviUtl側で、プロファイルを設定しているのが原因です。 AviUtlのメインウィンドウ上部メニューより、 「プロファイル→プロファイルの編集→現在のプロファイルを初期値に戻す」 を選択することで、画面サイズが正常な物に戻ります。