이번 대회가 코로나19를 확산의 원흉이 될 우려가 고조하면서 자원봉사자로 등록한 이들이 대거 중도 포기하는 사태가 벌어졌다.

자원봉사자는 대회 연기 전에는 8만 명 정도였으나 코로나19 확산 와중에 대회를 강행하는 것에 대한 회의감과 조직위 회장이던 모리 요시로(森喜朗) 씨의 여성 멸시 발언 등이 일으킨 논란이 맞물리면서 약 1만 명이 포기 의사를 밝혔다.

성화 봉송 주자로 이름을 올린 연예인이 사퇴하는 사례도 이어졌다.

이런 가운데 조직위가 활용 가능한 탈의실이 없다는 등의 이유로 경기장 등에 올 때 집에서 유니폼을 입고 오라고 자원봉사자들에게 안내한 것도 논란을 일으키고 있다.