단순히 어떤 영상을 재생하였을 때 어느 정도 진행하면서 평균을 내서 음량을 조절하면 되지 않을까 하시는데 그게 사람귀에 상당히 불편합니다. (이미 30여년 전부터 시도했던 내용이기도 합니다.)

잔잔하게 시작하다 폭탄이라도 터지는 영상이 나오면 그 조절된 내용자체가 아무런 소용도 없어지는...
즉 엄청나게 큰 다이나믹레이지의 변화가 발생될 경우는 전혀 효과를 발휘하지 못하게 되는데
실제로 문제가 되는 지점이 바로 그 큰 다이나믹 변화 시점이거든요.

그리고 단순하게 볼륨만 줄이는 것도 상당히 불편함을 토로해서 큰소리를 막겠다고 작은 소리를 못 듣는 단점이 이미 30여년전부터 나와서 이러저러한 DSP기법들이 나오게 되는 것이고요 그래서 인간귀와 흡사한 가중치를 두고 볼륨을 줄이고 하는 방법을 사용하게 된 것이고요.

제대로 된 가중 라우드니스를 실현하기 위해서는 앞뒤 레벨까지 다 가지고 있어야 해서 비교를 위한 버퍼링과 빠른 DSP연산이 필수이기도 해서 딜레이가 필연적이기도 합니다. 따라서 비디오 지연을 위한 버퍼링을 준비해야 하니 당연히 가격대가 올라갈 수밖에 없지요.

현재 저가에서 구현되는 라우드니스는 제대로 만족스러운 음량 조절을 못해요. 결국 사람이 만져줘야 하는...단점이 있지요.
특히 조용한 부분에서는 아예 잘 안들리고 답답해서 적용해서 사용하다 결국 에이 이따위꺼 해제하고 내가 볼륨 조절한다고 하시는 분들도 많습니다.

아무튼 오디오쪽 칩셋 업체들이 이 부분을 간과하거나 무시하고 있지는 않지만 현실적으로 만족스럽게 구현하기는 그리 단순하지 않다 라는게 요지입니다.

사실 기술구현이 되어도 그걸 대량 양산하기 위한 칩셋을 만들어야 하는데 요즘 ASIC비용도 어마 무시해서 쉽게 양산 결정도 못 내립니다. (ASIC 미세 나노 기술 개발이 장점만 있는게 아닙니다. 생산 비용이 어마 무시해서 예전에 비해 신규 아이디어 IC들 자체가 거의 안나오고 아니 못나오고 있지요. 

어찌되었건 다양한 스펙들이 계속해서 나오고 있고 심지어 디지털 포맷내에서 자 큰소리 난다고 알려주는 방식까지도 준비되고 있지만 그건 그 포맷을 만족하는 소스들만 적용되는 것이고 그거 없는 애들은 그냥 당하는 거지요.

결론을 내면 다양한 시도가 진행되고 있지만 경제성을 가진 가격에 만족스런 성능은 아직이다.  해결이 불가능하지도 않지만 하려면 투자를 하셔야 하는데 그 투자비용이 아직은 경제적이지는 않다...요게 결론 일 듯 합니다.

이런 라우드네스 자동조절을 자연스럽게 하기 쉽지 않다는 건 동감입니다.분명히 갑자기 대화소리가 줄어들었다 올라가는 등 위화감이 들지겠요. 그래서 단순 VU 평균화 정도로는어색할 겁니다. 사람(오디오 엔지니어)이 해도 어색함을 완전히 없애긴 어렵죠.  하지먼 음성과 효과음/음악를 따로 감지할 정도의 지능이면 충분히 덜 어색하게 구현가능하다고 봅니다. 시청자가 일일이 볼륨을 조절해야 하는 것 보다는 낫지않겠습니까?

또 비용문제도 글쎄요... 물론 오디오 전용IC 를 새로 개발해야 하면 문제가 됩니다만 요즘은 몇 달러 짜리 범용 마이크로컨트롤러도 속도가 엄청나고 DSP 나 벡터연산 기능까지 갖추고 있습니다. (STM32 G4) 또 TI 나 맥심이나 아날로그디바이스 등  여러 회사에서 나오는 오디오프로세서 MCU 는 그런 용도로 오디오포맷 처리나 델타시그마DAC 까지 오디오 처리에 필요한 거의 모든 기능을 올인원으로 다 가지고 있습니다. 나이트 모드 구현에 필요한 계산요구량은 그런 오디오 디코딩이나 필터링 또는 음장기능 에 필요한 계산 양보다 훨씬 적지요. 적어도 무선 이어폰 내장용이 아니면 오디오 처리에 옛날같이 새로 칩을 개발하거나 DSP 칩을 따로 써야 하는 시대가 아니지요. 펌웨어 프로그래밍으로 충분히 해결할 수 있다고 봅니다.

요즘 새로운 오디오 IC 가 거의 개발되지 않는건 아마 오디오 기기산업자체가 거의 죽었고 또 저런 오디오프로세서MCU 가 보편화되어 오디오 전용 IC 신규개발의 필요성이 줄어서일 겁니다.

DSP자체는 가격이 싼데요.(싸다고 양산에 쓸 정도는 아닙니다) 그 안에 들어가는 코드가 라이센스 빡셉니다.
특히 DSP기반 코드들 첨부터 각잡고 개발하면 그 개발비는 어마무시해서 결국 유명업체들이 개발해 놓은 코드를 사서 쓸 수 밖에 없고요.

그리고 음성과 효과음을 분리 인식하는 것 자체가 상당한 인공지능적인 기술을 요하는데요. 인공지능이란 것이 학습으로 효과를 얻는 것인데
이미 학습을 시켜서 나와야 하는 것이고 그 학습에 반한 행동을 재 학습 시키는 건 일반 사용자가 하질 못해요. 따라서 예외적 행동이 발생할 수 있고 그게 또 불만으로 연결되겠지요.
분리 인식 자체에 대한 학습과 재학습을 자기가 분석해서 할 수 있을 정도까지 되어야 쓸만해 진다는 말씀입니다.

사실 현재 사용되는 라우드니스도 다 연간 또는 수량 베이스의 라이센스 비용을 지불하면서 적용되고 있는 건데요.
이 기능이 메인 기능이 아니기 때문에 여기에 투자하고 회수가 되느냐 따지면 되질 않는게 현실이거든요.
그래서 오디오 연구만 하는 몇몇 업체들만 남게 되고 그 걸 결국 고급 재품에서만 채용하게 되고 그렇게 진행이 되는 판입니다.

다시 말씀드리면 이 기능이 메인 기능이 아니란 점입니다. 이 기능이 들어갔다고 돈 수십만원을 더 지불할 소비자가 없거든요. 있으면 굿이라는 보너스 개념이기에 저가 라이센스 라우드니스만 많이 판치게 되는 것이지요. (없는 것보다는 낫지만 유저 만족도는 상당히 떨어집니다. - 위에도 언급했지만 결국 답답해서 사람이 다시 손 대야 하는 수준)

방송장비를 만들고 있는 저희 회사만 해도 자동 음량 조정해 주는 기능 넣는데 엄청 투자했거든요. DSP써서요.

물론 오픈소스로 만들려면 만들 수도 있겠지만 그 퀄리티는 엄망입니다. 적용될 때도 있고 안될때도 있고..결국 사람 갈아 넣고 테스트하고 거기서 끝나는게 아니라 이 기능이 각종 오디오 관련 인증에 방해요소가 안되어야 하고... 가장 중요한 제품 출시 일정을 맞추기가 아주 아주 힘듭니다 결국 돈주고 사서 써야지요. --- 비쌉니다. T_T;;;

그리고 신규 칩셋 관련해서는 몇몇 오디오 전문에서는 계속 나오고 있어요. 
DSP나 FPGA가 아무리 발전해도 양산칩에는 경제적으로 대적할 수가 없습니다.  기업은 물건을 가능한 싸게 만들어내야 하는데  어떤 기능 검증을 위해서는 DSP를 쓰지만 결국 그걸 ASIC화 해서 양산칩을 만들어 내야 합니다. 그 ASIC에 비용적인 부분이 예전에는 몇억원이었다면 지금은 수십억원 건진 100억대에 이르러서요.

결국 오디오 전문 DSP IP를 에이직화해서 만들어 내고 거기에 각종 펌웨어 우겨 넣는 방식으로 양산칩을 만들고 있지만 결국 아직 그 한계를 뛰어 넘지는 못하고 있습니다. 싸게 만들어 내야 한다는 것 때문에 만족스러운 저가의 라우드니스는 아직은 입니다.

위에도 말했듯이 이 기능은 보너스 기능이거든요. 사람들이 이 기능을 보고 지갑을 열어 줘야 하는데 이 기능은 그런 기능이 아니라서요.
투자비는 메인 기능 만큼 들어가는 분야인데 보너스 기능입니다. ^^
따라서 제대로 기능하는 녀석들은 아주 아주 고가의 제품에 들어갈 수 밖에 없습니다. 고가는 그만큼 보너스를 많이 줘야 하니까요.

좋은 정보 감사합니다. 라이센스가 비싸다는 말에 탁 납득이 가네요. 괜히 고급기에만 들어가는 것이 아니었군요. 요즘 전문 오디오 시장이 축소되어서 가격 감당이 어려운것도 있을거고.. 옛날 부잣집이면 매킨토시나 올슨앰프에 AR 이나 탄노이 스피커 정도는 자랑하던 LP 시대와 완전히 다른 시대긴 하죠.