Театр рабочей молодежи (ТРАМ) раскрыл талант молодого актёра, и следующей вехой его жизни стал Театра кукол при Московском Доме пионеров. Театральную деятельность Гердта прервала война. Зиновий Гердт ушёл на фронт добровольцем, командовал сапёрной ротой.
В феврале 1943 года в госпиталь привезли тяжело раненного старшего лейтенанта. Офицеру пришлось выдержать 11 сложнейших операций, но нога, хотя и была спасена, навсегда стала короче здоровой на 8 сантиметров. С тех пор Гердт всегда прихрамывал – однако, что интересно, эта хромота стала неотъемлемой частью образов его героев. Многие зрители думали, хромает он специально – роль требует.
После войны Зиновий Гердт продолжил работу в театре кукол, затем начал дублировать роли и выступать как закадровый рассказчик на кинематографе.
Долгое время Гердт так и проработал в кино – за кадром. Да и на экран он попал как эпизодический актёр.
Однако режиссёры фильмов «Фокусник» и «Золотой телёнок», куда Гердт был приглашён в эпизоды, разглядели в актере оригинальный талант. Герд и сам помогал – не играл по писанному, а вносил в каждую роль свою индивидуальность. В результате вместо эпизодов появились великолепные образы фокусника Кукушкина и жулика Паниковского.
Гердта наконец-то рассмотрели и начали приглашать в фильмы. Он выступал в основном как комедийный, острохарактерный актёр. Комедийность, юмористичность игры подчеркивала удивительно сочетающаяся с юмором лиричность и мягкая грусть.
Некоторое время Зиновий Гердт работал и на телевидении, вел «Кинопанораму» в 1960-х и «Чай-клуб» в 1990-х.


Актёр ушёл из жизни 18 ноября 1996 года. В Киеве установлен памятник Паниковскому, а прообразом ему послужил, естественно, Зиновий Гердт.