В 1961 году в город на Неве приехали преподаватели из столичного Театрального училища им. Немировича-Данченко, чтобы отобрать талантливую молодежь. Мягков узнал об этом и решил попробовать свои силы. Юноша еще декламировал басню, когда экзаменаторы его прервали и сообщили, что он принят. 

В 1965 году Андрей Мягков закончил Школу-студию МХАТ и пошел работать в театр «Современник». Уже после первой роли на сцене (актер сыграл дядюшку в «Дядюшкином сне» по Достоевскому), Мягкова заметил кинорежиссер Элем Климов. Он предложил актеру главную роль в своей ленте «Похождения зубного врача». Позже Мягков получил роль в картине «Братья Карамазовы», на съемках которого работал с признанными мастерами киножанра. Но настоящий успех в кино актеру принесла картина «Ирония судьбы, или С легким паром!», без которой и сегодня сложно представить новогодний телеэфир. 

Посмотреть Мягкова режиссеру Эльдару Рязанову предложила его ассистентка Наталья Коренева, дружившая с актером. Это было стопроцентное попадание в роль. Премьера картины состоялась 1 января 1976 года по центральному телевидению. По многочисленным просьбам телезрителей фильм в скором времени повторили. 

Рязанов продолжил снимать Мягкова в своих кинолентах, а у актера сформировалось амплуа классического неудачника, в котором лишь любовь может пробудить рыцаря-победителя. У Рязанова он играл в «Гараже», «Жестоком романсе» и «Служебном романе», а всего в активе Андрея Мягкова более пятидесяти кинолент. Параллельно он продолжал свою театральную карьеру. 

В 1977 году стал актером МХАТа, а после раскола театра в 1986-м году Мягков остался в МХТ имени А. П. Чехова. В театре раскрылись и другие грани таланта Андрея Мягкова. На рубеже 1980-1990-х он прекратил сниматься в фильмах, стал больше времени уделять театру и режиссуре. В 1989-м он ставит спектакль по пьесе Марши Нормана «Спокойной ночи, мама» на Малой сцене МХАТа. 

До недавнего времени артист также преподавал в Школе-студии МХАТ. В свободное от любимой работы время Мягков пишет книги в детективном жанре.