1924년 수사국(FBI의 전신) 국장으로 임명되어 1935년 FBI 창설에 중요한 역할을 했다. 1924년부터 죽을 때까지 FBI에서 재직했다. 후버 덕분에 FBI는 대규모의 효율적인 범죄 전담 부서로 성장했으며, 지문 파일 집중화나 과학 수사 등 경찰 기술의 현대적 발전을 이루었다. 후버는 미국에서 높이 인정받았으나 그가 죽은 뒤 그는 점차 논쟁의 대상이 되었다.

광범위한 정보 수집과 검문, 수색, 추적 등을 통해 방대한 양의 정보를 수집, 갱스터, 마피아, 마약, 나치 독일 스파이, 소련 스파이, 쿠바 스파이 등을 수시로 적발하여 성과를 올렸다. 또한 미국 정치인들의 뇌물 수수와 비리, 이권 개입, 성 관련 위법행위에 대한 정보들도 파악하고 있어 상원 의원, 하원 의원, 각 주 정부의 관리들이 그를 두려워하였다.