Окончив 8 классов политехнической школы в 1924 году, Алексей поступил в Томское музучилище (класс фагота), но через два года оставил учебу. Затем был подсобным рабочим, в 1927 году стал играть во вспомогательном составе ТГТ (Томского городского театра), где проработал до 1930 года. В сентябре того же года Алексей Чернов отправился в Москву, поступив в театральное училище при Театре Революции (класс А.Д.Попова). Окончил училище в 1934 году, был принят в труппу театра, но пробыл там не более одного сезона. Затем перешел в Воронежский драматический театр имени А.В. Кольцова, где проработал 32 года, с 1935 по 1967 год. В 1958 году артист был удостоен звания народного артиста РСФСР.
Жена Чернова, Ольга Михайловна Чернова, была пианисткой. Сын, Юрий Чернов, работал в Воронежском государственном университете.
В 1964 году по предложению Станислава Ростоцкого Алексей Чернов сыграл Максима Максимыча в экранизации лермонтовского «Героя нашего времени». В результате уже в немолодом возрасте актер прославился на весь Советский Союз. Режиссеры обратили внимание на Чернова, и в 1967 году он перебрался в Москву, где стал работать на киностудии имени М.Горького. Там он сыграл свои лучшие роли: Самохин в фильме «Годен к нестроевой», Атанас в «Трембите», прокурор в «Анискине и Фантомасе», старик в «Аленьком цветочке», лесник Трофимыч в картине «Белый Бим Черное Ухо», отец Гали в «Ищу человека», Андреев в «Обратной дороги нет».
Чернов сыграл Никифора Петровича в ленте «Анна и командор», шарманщика в «Волнах Черного моря». Последним его фильмом стал «подарок черного колдуна», где актер сыграл роль оборотня. Помимо киносъемок, после приезда в Москву Алексей Чернов играл в театре имени Владимира Маяковского.
Скончался актер 22 ноября 1979 года в Москве, похоронен в Люберцах Московской области.
