Происходил из дворянского рода Дмитриевых, считавшего себя потомками смоленских князей. Родился10 (21) сентября 1760 в имении отца Ивана Гавриловича Дмитриева (1736—1818) — селе Богородском (теперь Троицкое) Казанской (позднее Симбирской) губернии. Его мать Екатерина Афанасьевна (1737—1813) принадлежала по рождению к богатому роду Бекетовых. Получил домашнее образование, несколько лет обучался в частном пансионе Ф. Ф. Кабрита вСимбирске.

Восстание Пугачёва вынудило семью Дмитриева переехать в Москву. В 1772 был записан солдатом в лейб-гвардии Семёновский полк. В мае 1774 был привезен отцом в Петербург, окончил полковую школу, с 1776 — унтер-офицер, с 1778 — сержант.

Под влиянием журналиста Николая Новикова начал в 1777 писать стихи, большей частью сатирического характера; автор их впоследствии уничтожил. Впервые был опубликован в том же году в журнале Новикова «Санкт-Петербургские учёные ведомости», где было напечатано стихотворение «Надпись к портрету князя А. Д. Кантемира» с пожеланием успехов юному поэту. Ориентиром для Дмитриева служили стихи Ломоносова, Сумарокова, Хераскова. Дмитриев основательно ознакомился с произведениями лучших писателей французской литературы, а также и с римскими и греческими классиками во французских переводах.

В 1783 году состоялось знакомство с Николаем Карамзиным, дальним родственником Дмитриева. Под его влиянием Дмитриев обратился к книгам французских просветителей. В Карамзине Дмитриев нашёл не только друга, но и руководителя в литературных занятиях, советам и указаниям которого безусловно подчинялся.

В 1787 произведен в прапорщики, в июле 1788, в связи с началом русско-шведской войны 1788—1790 отправился с полком в поход к границе Финляндии. В боевых действиях не участвовал и в конце года вернулся в Петербург.

В 1790 сблизился с Державиным, знакомство с которым, по словам Дмитриева, «открыло ему путь к Парнасу»; в доме Державина он познакомился со многими знаменитыми поэтами и писателями (Д. И. Фонвизиным, И. Ф. Богдановичем,Н. А. Львовым, В. В. Капнистом).

В 1791 году в «Московском журнале», который издавал Карамзин, появился целый ряд произведений Дмитриева, в том числе и самая его известная песня «Голубок» («Стонет сизый голубочек»). Последняя тотчас же была положена на музыку и получила самое широкое распространение. Вслед за «Московским журналом» Карамзин приступил к изданию «Аглаи» и «Аонид», в которых Дмитриев также принял участие.

В 1795 году в Московской университетской типографии вышло первое издание его стихотворений (по аналогии с карамзинскими«Моими безделками»). Согласно П. А. Вяземскому, Дмитриев и Карамзин, будучи друзьями, вначале собирались выпустить свои сборники стихотворений под одной обложкой, но по ряду обстоятельств Карамзин издал свою книгу («Мои безделки») раньше, поэтому Дмитриев назвал свой сборник сходно с книгой Карамзина. По версии исследователя Виктора Трофимовича Чумакова, книга Дмитриева стала первым печатным изданием, в котором встречается буква «ё». Первым словом, отпечатанным с буквой «ё», было «всё», затем «огонёк», «пенёк», «безсмёртна», «василёчик».

В том же году Дмитриев приступил к изданию песенника, в который вошли как его собственные песни, так и песни других поэтов, и который вышел в 1796 году под заглавием «Карманный песенник, или собрание лучших светских и простонародных песен».

Одновременно с литературными успехами, Дмитриев продолжал продвигаться и по службе: в 1789 произведен в подпоручики, в 1790 в поручики, в 1793 в капитан-поручики. Служба, однако, тяготила его, и он не раз испрашивал длительные отпуска, во время которых уезжал к себе на родину.

В начале 1796 получил чин капитана гвардии и взял годовой отпуск с намерением выйти в отставку. Однако смерть Екатерины II заставила его вернуться в Петербург, где он, сказавшись больным, вышел в отставку в декабре 1796 в чине полковника, но вскоре был неожиданно арестован по ложному доносу в подготовке покушения наПавла I. После выяснения недоразумения Дмитриев пользовался особыми милостями императора и в мае 1797 был назначен одним из четырех товарищей министра департамента уделов, в июне того же года с чином статского советника стал обер-прокурором 3-го департамента Сената.

3-й департамент сената заведовал делами Малороссии, Польского края, Лифляндии, Эстляндии, Финляндии и Курляндии и должен был руководствоваться, кроме российских законов, Литовским Статутом, Магдебургским правом и другими местными положениями на шведском, немецком и латинском языках. Из них на русский были переведены только земское уложение, Литовский Статут и Магдебургское право, причем перевод, по свидетельству Дмитриева, был совершенно неудовлетворительным. Прочие законы вообще не были переведены и для пользования ими необходимо было прибегать к помощи переводчиков, «ибо заведовавший польскими делами не знал польского языка, а остзейских провинций и Курляндии — ни немецкого, ни латинского». Наладить в таких условиях сносное управление едва ли представлялось возможным.

В 1798 Дмитриев получил чин действительного статского советника. Он сделал представление генерал-прокурору Сената о необходимости проверить и исправить существующие переводы, перевести остальные законы, и все это напечатать, но ничего так и не было сделано. Претерпев, кроме этой неудачи, много других неприятностей по службе, Дмитриев 30 декабря 1799 вышел в отставку в чине тайного советника, поселился в Москве, где купил себе деревянный домик с небольшим садом, у Красных ворот, и целиком отдался литературной работе. Публиковал новые стихи в журнале Карамзина «Вестник Европы», подготовил издание своих «Сочинений и переводов» в трех томах (М., 1803, 1805).

В 1805 году у Дмитриева в гостях был начинающий баснописец Крылов, принёс свои басни. Дмитриев приветствовал их словами: «Это истинный ваш род, наконец вы нашли его.» Крылов под воздействием уговоров Дмитриева преодолел своё отвращение к басенному «роду» и стал писать басни систематически.

По приглашению Александра I вернулся на службу, в феврале 1806 назначен сенатором 7-го (Московского) департамента Сената. В этой должности исполнял различные ответственные поручения. Так, в 1807 году ему было поручено наблюдать за сбором земского ополчения в Костромской, Вологодской, Нижегородской, Казанской и Вятской губерниях. В начале 1808 он был отправлен в Рязань произвести следствие о злоупотреблениях по тамошнему питейному откупу. В конце того же года ему было поручено «исследовать втайне поступки Костромского губернатора Пасынкова», прославившегося многочисленными злоупотреблениями.

В 1809 г. произошла его встреча с маленьким Александром Пушкиным. Случилось это в московской усадьбе графа Бутурлина, на Яузе. Дмитриев сказал о Пушкине: «Посмотрите, ведь это настоящий арапчик». Позднее он способствовал поступлению Пушкина в Царскосельский лицей.

В 1810 году Дмитриев был назначен членом Государственного совета. С января 1810 по август 1814 был министром юстиции. Стремился упорядочить деятельность судебных органов, принял ряд мер к ускорению делопроизводства, сокращения числа инстанций и устранения некоторых злоупотреблений в гражданских и уголовных палатах. Также пытался улучшить личный состав судебных чинов. Занявшись, вместе с министром финансов, рассмотрением торгов по винному откупу, он увеличил доход казны на несколько миллионов, за что получил орден Св. Александра Невского и премию в 50,000 рублей. Не забыв вопроса об издании переводов местных узаконений, распорядился исправить и напечатать в 1811 перевод Литовского Статута. По его инициативе была учреждена Комиссия для рассмотрения переводов уложения грузинского царя Вахтанга и Комиссия для рассмотрения неоконченных дел Финляндии, причем была ликвидирована Коллегия финляндских дел.

В должности министра Дмитриев подчеркнуто сторонился интриг, следуя прежде всего букве закона, из-за чего произошло много конфликтов, в частности ссора с Державиным, ходатайство которого «по закону невозможно было удовлетворить». Вследствие столкновений с управляющим делами Комитета министровП. С. Молчановым и другими сановниками, а также многочисленных жалоб и доносов императору, был вынужден подать в отставку. На прощальной аудиенции Александр I, очень милостиво приняв его, спросил, держа с ласковым видом за руку: «Даешь ли слово со временем опять сойтиться?» Но Дмитриев откровенно ответил, что он столько перенес неприятностей, что никак не может связать себя словом.

После увольнения со службы окончательно уехал в Москву, где еще в конце 1812 купил участок у Патриаршего пруда, и приступил к постройке дома по проекту известного архитектора А. Л. Витберга, автора первоначального проекта храма Христа Спасителя. В 1816—1819 состоял председателем комиссии для пособия жителям Москвы, разоренным от пожара и неприятеля. Всего комиссией было рассмотрено 20,959 прошений, из которых на удовлетворение 15,320 было израсходовано 1,391,280 рублей. За успешную работу был в 1818 награждён чином действительного тайного советника и орденом св. Владимира I степени. После этого Дмитриев окончательно оставил служебную деятельность. Последние годы своей жизни Дмитриев провёл почти безвыездно в Москве. Мало занимаясь литературными делами, он написал лишь несколько басен и литературных мелочей и исправлял старые стихотворения для новых переизданий трёхтомного собрания сочинений. Работал над мемуарами («Взгляд на мою жизнь», завершены в 1825, впервые опубликованы в 1866), охватывающими период 1760-х — 1820-х годов.

Умер в Москве 3 (15) октября 1837. Похоронен на Донском кладбище в Москве

.