Гінзбург народився 1956 року в Києві. Закінчив Московський електротехнічний інститут зв'язку (зараз – Московський технічний університет зв'язку та інформатики).
1988 року із сім'єю емігрував до США, де здобув юридичну освіту. В Америці був партнером юридичної фірми IMT Consulting Inc, яка спеціалізувалася на імміграційному праві.
На початку 1990-х повернувся в Україну, де заснував інвестиційно-будівельний холдинг МТН, першим проєктом якого стало будівництво заводу з перероблення газового конденсату "МТН-Полтава". У Києві холдинг бізнесмена побудував приблизно 300 тис. м² житлової та комерційної нерухомості.
Гінзбург – троюрідний племінник одного з найбагатших забудовників Києва Льва Гінзбурга.
Бізнесмен колекціонує предмети мистецтва (зокрема володіє унікальним архівом фотографій групи The Beatles) та є ідеологом технології блокчейн.