Родился 11 декабря 1949 года в Ленинграде. Его отец был шофером, а мать работала на заводе. В детстве Борис мечтал стать капитаном дальнего плавания, но, когда ему было двенадцать лет, в их школу заглянули представители киностудии «Ленфильм», которые подбирали мальчика на главную роль в фильме «Мандат», и в итоге роль досталась именно Щербакову. Так после съемок Борис решил стать актером и после школы в 1967 году попробовал поступить в Ленинградский государственный институт театра, музыки и кино, но не прошел отбор. В конце концов, Борис был зачислен на режиссерский факультет Института культуры имени Крупской, где проучился один год. Но, решив попытать удачу, Щербаков отправился в столицу поступать Школу-студию МХАТ на курс Павла Масальского, куда и был благополучно принят.

После окончания учебы в 1972 году Борис снялся в детективе «Тихие берега», и его карьера стала постепенно развиваться. Так, в последующие годы с участием Щербакова вышли кинокартины «Я служу на границе», «Одиннадцать надежд», «Берег», «Через тернии к звездам», «Случай в квадрате 36-80», «Гостья из будущего», «Воры в законе», «Криминальный квартет», «Мой лучший друг генерал Василий, сын Иосифа», «Десять лет без права переписки», «Барханов и его телохранитель» и «Привет, дуралеи!». Позднее появились сериалы «Солдаты», «Звезда эпохи», «Сильнее огня», «Высший пилотаж» и телефильмы «Грозовые ворота», «Тихий Дон», «Приказано женить». А серди последних работ актера сериал «Военная разведка» и картина «Разрешите тебя поцеловать... снова».

Параллельно с карьерой кино Щербаков уделяет огромное внимание театральной сцене, играя во МХАТе в течение тридцати лет. В свободное время он любит заниматься чеканкой, металлопластикой и резьбой по дереву.