Зиновий Гердт родился под именем Залман Храпинович (в кругу друзей и близких, а также в театральном фольклоре известен под уменьшительным именем Зяма), младшим (четвёртым) ребёнком в еврейской семье 8 (21) сентября 1916 года в уездном городе Себеже Витебской губернии (ныне — Псковская область, Россия). Его отец, Афроим (Эфраим) Яковлевич Храпинович (ум. 1933), работал приказчиком в лавке тканей, потом устроился коммивояжёром, управлял бакалейной лавкой и был человеком набожным; мать, Рахиль Исааковна (урождённая Секун, ум. 1949), была домохозяйкой. У него были брат Борис и сёстры Фира и Берта (впоследствии Евгения). Учился в еврейской школе в Себеже, в 1932 году переехал к брату в Москву. В тринадцатилетнем возрасте опубликовал в детской газете на идише стихи о коллективизации. В 1934 году, окончив фабрично-заводское училище Московского электрозавода имени Куйбышева, пришёл работать на Метрострой электромонтажником. Играть начал в театре рабочей молодёжи (ТРАМ) ЦК Союза электростанций сразу по поступлении в ФЗУ в 1932 году, через 3 года был переведён в профессиональный состав театра. В 1936—1937 годах — актёр Театра кукол при Московском Дворце пионеров. В 1938 году был принят в организованную Алексеем Арбузовым и Валентином Плучеком Московскую государственную театральную студию, где проработал до начала войны. Первоначально выступал под своей настоящей фамилией Храпинович, затем под артистическим псевдонимом Гердт (в конце 1930-х годов ставшим его официальной фамилией; имя и отчество Зиновий Ефимович появились уже после войны). По воспоминаниям дружившего с Гердтом И. К. Кузнецова, псевдоним был предложен Алексеем Арбузовым по имени популярной в 1920-е годы балерины Елизаветы Гердт.

В июне 1941 года Зиновий Гердт ушёл добровольцем на фронт. В декабре 1941 года окончил специальные краткосрочные сборы в Московском военно-инженерном училище и был направлен на Калининский, а затем на Воронежский фронт. Был командиром сапёрной роты, начальником инженерной службы полка в звании старшего лейтенанта. 13 февраля 1943 года под Белгородом был тяжело ранен осколком танкового снаряда.

После одиннадцати операций, самые важные из которых выполняла ведущий хирург Боткинской больницы Ксения Максимилиановна Винцентини (жена конструктора Сергея Королёва), Гердту сохранили повреждённую ногу, которая с тех пор была на 8 сантиметров короче здоровой и вынуждала артиста сильно прихрамывать. Инвалид Отечественной войны III группы.

До 25 июня 1945 года работал в Московском театре молодёжи при дирекции фронтовых театров. В 1945—1982 годах — в труппе Центрального Театра кукол под руководством С. В. Образцова. В кинематограф Зиновий Гердт вошёл как актёр дубляжа, долгое время оставаясь за кадром. С 1983 года — актёр МАДТ имени М. Н. Ермоловой.

На телевидении Зиновий Гердт с 1962 по 1966 год, с перерывами на гастроли и съёмки, вёл передачу «Кинопанорама». Из-за сложностей с графиком артист ушёл из телепередачи, его преемником стал Алексей Яковлевич Каплер. В 1990-х годах Гердт был ведущим авторской программы «Чай-клуб» на канале ТВ-6 Москва. 29 декабря 1994 года был в гостях у Влада Листьева в последнем выпуске программы «Час Пик» уходящего 1994 года.

Скончался 18 ноября 1996 года в Москве. Похоронен на Кунцевском кладбище.