Особняк или дворец Бобринских назван так в честь семьи, владевшей им с 1798 по 1917 год. Родоначальник семьи – Алексей Григорьевич Бобринский (1762–1813). Внебрачный сын императрицы Екатерины и Г.Г.Орлова, Бобринский в детстве считался сыном камердинера императрицы Екатерины II В.А.Шкурина и воспитывался с его сыновьями.
После воцарения императора Павла I Алексей Бобринский получил приказание явиться ко двору. Император назвал его «братом», возвел в графское достоинство, назначил генерал-майором, Почетным опекуном и управляющим Санкт-Петербургским воспитательным домом. Дворец на Галерной улице стал подарком императрицы Марии Федоровны графу А.Г.Бобринскому.