Гельман родился в 1933 году в бессарабском селе Дондюшаны (тогда – Королевство Румыния, сейчас – Молдова). В начале войны семья была депортирована в гетто в городе Бершадь Винницкой области, где Гельман прожил три года. В итоге из 12 депортированных членов его семьи до освобождения дожили только он и его отец.
После войны вернулся с отцом в Дондюшаны, где доучился в школе, затем поступил в профтехшколу трикотажников в Черновцах. В 1954 году окончил Львовское военное училище, после него шесть лет служил на флоте. В конце 1950-х годов во время службы на Камчатке начал публиковать рассказы и очерки.
В 1960 году переехал в Кишинев, работал фрезеровщиком на заводе, параллельно учился на заочном отделении Кишиневского государственного университета. Не окончив учебу, в 1963 году переехал в Ленинградскую область. Вначале работал там диспетчером на строительстве крупного нефтеперерабатывающего завода в городе Кириши, спустя три года перешел в журналистику. Работал в местных газетах, в это же время занимался драматургией. В 1978 году переехал в Москву, где тесно сотрудничал со МХАТом. В этом театре поставили спектакли по семи пьесам драматурга.
В 1989 году был избран народным депутатом Верховного Совета СССР от Союза кинематографистов.
В 2014 году вместе с российскими кинематографистами выступил против "антиукраинской кампании, развязанной российскими государственными каналами", и поддержал Украину. В 2018 году подписал письмо в поддержку украинского режиссера Олега Сенцова, который выступил против оккупации Крыма Россией и в РФ был приговорен к 20 годам колонии строгого режима якобы за организацию диверсионной группы и проведение террористических актов на территории полуострова.
Среди самых известных пьес Гельмана – "Протокол одного заседания", "Обратная связь", "Наедине со всеми", "Скамейка". По сценариям драматурга было снято несколько фильмов, в частности "Премия" (1974). За эту работу Гельману была присуждена Государственная премия СССР.
У Гельмана двое сыновей: Марат (1960) – галерист, Павел (1967) – сценарист.