maverickさん、こんにちは。
DBEしただけとのことなので、ストレッチ前のリニアですね。HDRCompositionはリニアでかける必要があるので、そこは問題ありません。
いくつか試していただきたいことがあります。
◾️Binarizing threshholdの変更
これは、画像を置き換えをするためのマスクをつくるときに、どの値まではカットするかきめます。この値を変更するとどうなるでしょうか。おそらく大きな値にした方が良い気がします。
◾️画像の削減
どれか特定画像が問題を起こしている可能性もあるので、たとえば300sと10sだけのように、少ない枚数でいくつかのパターン試すとどうなるでしょうか。