Дворянский род Столыпиных известен с конца XVI века. Поколенная роспись ведётся c Григория Столыпина. С течением времени род сильно развился, владея многочисленными поместьями в разных землях. Мы знаем, что один из Столыпиных участвовал в войне с Польшей (1654-1656), другой был убит пугачёвцами . Наиболее известные линии рода ведут начало от пензенского губернского предводителя дворянства Алексея Емельяновича Столыпина (1744-1810). У него было пятеро сыновей и пятеро дочерей. О старшем сыне Александре знаем только то, что одно время он был адъютантом А. В. Суворова. Второй из братьев, Аркадий, родившийся в 1778 году, начинал службу в Петербурге, на скромных чиновничьих должностях. Третий из братьев, Николай (1781-1830) дослужился до чина генерал-лейтенанта и был убит во время восстания в Севастополе.
Дмитрий Алексеевич, родившийся в 1785 году, был участником Аустерлицкого сражения. В 20-е годы XIX века генерал-майор Д. А. Столыпин служил на юге и был в хороших отношениях с П. И. Пестелем. Декабристы предполагали ввести в состав Временного правительства братьев Аркадия и Дмитрия Столыпиных. После 14 декабря 1825 года начались аресты всех, кто имел отношение к движению декабристов. В начале 1826 года Дмитрий Алексеевич скоропостижно скончался в своём подмосковном имении Средниково, оставив трёхлетнего сына Аркадия. Ходил слух, что генерал застрелился.
Старшей дочерью Алексея Емельяновича была Елизавета, родившаяся в 1773 году и вышедшая замуж за Михаила Васильевича Арсеньева. Ей выпала нелёгкая судьба пережить своего мужа, свою единственную дочь Марию и своего единственного внука – Михаила Юрьевича Лермонтова. Мало кто из Столыпиных любил знаменитого отпрыска своего рода. Все жаловались на его трудный характер. Говорят, что одна из тётушек упорно, до самой смерти отказывалась прочесть хотя бы строчку из сочинений “этого невыносимого мальчишки”. И всё же самые близкие друзья у Лермонтова были в основном среди Столыпиных. Он любил весёлого и доброго Афанасия Алексеевича, брата своей бабушки, дружил с сыновьями Аркадия Алексеевича – Николаем, Алексеем и Дмитрием.