Холлерит родился в городе Буффало (США) в семье немецких иммигрантов. В 1879 г. он окончил Горную школу при Колумбийском университете и стал ассистентом профессора У. Трубриджа (W.P. Troubridge) сначала в Колумбийском Университете, а затем и в Бюро по переписи населения (англ. U.S. Census Bureau), сотрудником которого был этот профессор. В 1882 г. Холлерит начал преподавание в Массачусетском Технологическом институте, а в 1884 г. перешел на работу в Патентное ведомство США.

В 1880-х годах изобретатель разработал оборудование для работы с перфокартами (Патенты США 395781, 395782 и 395783), которое имело значительный успех при переписях населения США в 1890-м и 1900-м г.

В 1890 г. Холлерит в Колумбийском Университете защитил диссертацию PhD: Hollerith, Herman, In connection with the electric tabulation system which has been adopted by U.S. government for the work of the census bureau. Ph.D. dissertation, Columbia University School of Mines (1890). (К вопросу об электрической табулирующей системе, которая была приспособлена правительством США для работ Бюро по переписи населения)

Герман Холлерит вошел в историю как создатель электрической табулирующей системы (Hollerith Electric Tabulating System).

В 1896 Холлерит создал компанию TMC (Tabulating Machine Company) для продвижения своих табулирующих машин. В 1911 он продал свою компанию, и она вошла в промышленный конгломерат C-T-R, созданный предпринимателем Чарльзом Флинтом. В 1924 C-T-R была переименована в IBM.

В языке Фортран текстовая константа (строка) иногда называется «холлеритова константа».