Сын известного русского художника Сергея Михайловича Ивашёва-Мусатова. С 15 лет (с 1943 года) воспитывался в семье Андрея Никлаевича Колмогорова, женившегося на матери Олега Сергеевича — Анне Дмитриевне Егоровой, своей однокласснице по гимназии. Работал на механико-математическом факультете МГУ.