Гельман народився 1933 року в бессарабському селі Дондюшани (тоді – Королівство Румунія, зараз – Молдова). На початку війни сім'ю депортували в гетто в місті Бершадь Вінницької області, де Гельман прожив три роки. Унаслідок цього із 12 депортованих членів його сім'ї до звільнення дожили тільки він і його батько.
Після війни повернувся з батьком у Дондюшани, де довчився у школі, потім вступив у профтехшколу трикотажників у Чернівцях. 1954 року закінчив Львівське військове училище, після нього шість років служив на флоті. Наприкінці 1950-х років під час служби на Камчатці почав публікувати розповіді й нариси.
1960 року переїхав до Кишинева, працював фрезерувальником на заводі, паралельно навчався на заочному відділенні Кишинівського державного університету. Не закінчивши навчання, 1963 року переїхав до Ленінградської області. Спочатку працював там диспетчером на будівництві великого нафтопереробного заводу в місті Кіриші, за три роки перейшов у журналістику. Працював у місцевих газетах, у цей самий час займався драматургією. 1978 року переїхав до Москви, де тісно співпрацював зі МХАТом. У цьому театрі поставили спектаклі за сімома п'єсами драматурга.
1989 року його обрали народним депутатом Верховної Ради СРСР від Союзу кінематографістів.
2014 року разом із російськими кінематографістами виступив проти "антиукраїнської кампанії, розв'язаної російськими державними каналами", і підтримав Україну. 2018 року підписав лист на підтримку українського режисера Олега Сенцова, який виступив проти окупації Криму Росією і якого у РФ засудили до 20 років колонії суворого режиму нібито за організацію диверсійної групи та проведення терористичних актів на території півострова.
Серед найвідоміших п'єс Гельмана – "Протокол одного засідання", "Зворотний зв'язок", "Наодинці з усіма", "Лавка". За сценаріями драматурга було знято кілька фільмів, зокрема "Премія" (1974). За цю роботу Гельману присудили Державну премію СРСР.
У Гельмана двоє синів: Марат (1960) – галерист, Павло (1967) – сценарист.