Павел Михайлович Третьяков родился 15 (27) декабря 1832 в Москве, в купеческой семье. Русский.
Получил домашнее образование, начал карьеру в торговле, работая с отцом.
Развивая семейное дело, Павел вместе с братом Сергеем построил бумагопрядильные фабрики, на которых было занято несколько тысяч человек.
В 1850-х годах Павел Третьяков начал собирать коллекцию русского искусства, которую практически с самого начала он намеревался передать городу. Считается, что первые картины он приобрёл в 1856 году, — это были работы "Искушение" Н. Г. Шильдера и "Стычка с финляндскими контрабандистами" (1853) В. Г. Худякова. Затем коллекция пополнилась картинами И. П. Трутнева, А. К. Саврасова, К. А. Трутовского, Ф. А. Бруни, Л. Ф. Лагорио и других мастеров. Уже в 1860 году меценат составил завещание, в котором говорилось: "Для меня, истинно и пламенно любящего живопись, не может быть лучшего желания, как положить начало общественного, всем доступного хранилища изящных искусств, приносящего многим пользу, всем удовольствие".
В 1860-е годы Третьяков приобрел картины "Привал арестантов" В. И. Якоби, "Последняя весна" М. П. Клодта, "Бабушкины сказки" В. М. Максимова и другие. Высоко ценил Павел Михайлович творчество В. Г. Перова, которому писал в октябре 1860 года: "Берегите себя для службы искусству и для Ваших друзей". В 1860-е годы были приобретены такие работы Перова, как "Сельский крестный ход на Пасхе", "Тройка" и "Дилетант"; в дальнейшем Третьяков продолжает приобретать картины Перова, заказывает ему портреты, активно участвует в организации посмертной выставки произведений художника.
В 1864 году в собрании появляется первая картина, написанная на сюжет русской истории, — "Княжна Тараканова" К. Д. Флавицкого. В конце 1860-х годов Павел Михайлович заказывает Ф. А. Бронникову произведение, ставшее впоследствии любимой картиной Веры Николаевны Третьяковой, — "Гимн пифагорейцев восходящему солнцу".
В 1874 году Третьяков построил для собранной коллекции здание — галерею, которая в 1881 году была открыта для всеобщего бесплатного посещения.
В 1892 году Третьяков передал свою коллекцию вместе со зданием галереи в собственность Московской городской думы.
1893 г. - заведение получило название "Городская художественная галерея Павла и Сергея Михайловичей Третьяковых". Павел Третьяков был назначен пожизненным попечителем галереи и получил звание Почётного гражданина Москвы.
Умер 4 (16) декабря 1898 в Москве.
Похоронен на Даниловском кладбище в Москве рядом с родителями и братом Сергеем.
В 1948 году прах братьев Третьяковых без согласования с родными был перезахоронен на Новодевичьем кладбище
Жена - Вера Николаевна Мамонтова (1965).Дети: Вера (1866—1940), Александра (1867—1959), Любовь (1870—1928), Михаил (1871—1912), Мария (1875—1952), Иван (1878—1887).
Состояние П. М. Третьякова к моменту его смерти оценивалось в 3,8 млн руб.
К концу жизни Третьяков получил звание коммерции советника, был членом Московского отделения Совета торговли и мануфактур,
Действительный член Петербургской Академии художеств (с 1893).