Образование уже на профессиональном уровне Алексей Грибов продолжил в школе при третьей студии МХАТа, которую и окончил в 1924 году, причем был немедленно принят в труппу. В том же году молодой Грибов сыграл свою первую значительную роль во МХАТе – роль мистера Креггса в «Битве жизни» по Диккенсу. Впрочем, до середины тридцатых роли первого плана ему так и не доставались.
Первая роль в кино Алексея Грибова – роль Горбунова в знаменитом на весь Советский Союз фильме «Горячие денечки» 1935 года. После этого проблем с получением ролей у актера больше не было, и всего он снялся не менее чем в пятидесяти фильмах. Образы комедийных персонажей, созданные Алексеем Грибовым на киноэкране, принесли ему всенародную любовь.
Рос авторитет артиста и во МХАТе. Так, он стал первым, кому доверили исполнить на сцене этого театра роль В.И. Ленина: в 1942 году Алексей Грибов сыграл вождя в постановке пьесы Погодина «Кремлевские куранты». За эту роль в том же году актер удостоился Сталинской премии.
Не менее блестяще Грибов справлялся и с отрицательными персонажами. Так, он сыграл Тимофея Храмова в популярной картине «Начальник Чукотки». С 1970 года Алексей Николаевич совмещал игру на сцене, съемки в кино с преподаванием актерского мастерства в той же школе-студии МХАТ, которую некогда окончил и сам. Последней работой актера в кино стала роль в фильме «За все в ответе», последней ролью в театре – Чебутыкин в чеховских «Трех сестрах».
26 ноября 1977 года Алексей Николаевич Грибов скончался. Похоронили его на Новодевичьем кладбище в Москве.
