Гинзбург родился в 1956 году в Киеве. Окончил Московский электротехнический институт связи (сейчас – Московский технический университет связи и информатики).
В 1988 году с семьей эмигрировал в США, где получил юридическое образование. В Америке был партнером юридической фирмы IMT Consulting Inc, которая специализировалась на иммиграционном праве.
В начале 1990-х вернулся в Украину, где основал инвестиционно-строительный холдинг МТН, первым проектом которого стало строительство завода по переработке газового конденсата "МТН-Полтава". В Киеве холдинг бизнесмена построил около 300 тыс. м² жилой и коммерческой недвижимости.
Гинзбург – внучатый племянник одного из богатейших застройщиков Киева Льва Гинзбурга.
Бизнесмен коллекционирует предметы искусства (в частности, владеет уникальным архивом фотографий группы The Beatles) и является идеологом технологии блокчейн.