Несмотря на отталкивающие признаки дряхлости, фигура пегого мерина хранит в себе спокойствие былой красоты и силы. Его старость — величественная и гадкая одновременно. И это вызывает у лошадей негодование и презрение. «Лошади жалеют только самих себя и изредка только тех, в шкуре кого они себя легко могут представить». И всю ночь на конном дворе, повинуясь стадному инстинкту, весь табун гоняет старого мерина, слышатся удары копыт о худые бока и тяжёлое кряхтение. И мерин не выдерживает, останавливается в бессильном отчаянии и начинает рассказ о своей жизни. Рассказ длится пять ночей, а в перерывах, днём, лошади уже почтительно обращаются с мерином.
Он рождён от Любезного первого и Бабы. По родословной его имя — Мужик первый, а по-уличному — Холстомер. Так люди называют его за длинный и размашистый ход. С первых дней жизни он чувствует любовь матери и то удивление, которое вызывает у окружающих. Он пегий, необычный, не такой, как все. Первое горе в жизни — потеря любви матери, которая уже носит в себе меньшого брата. Первая любовь к красивой кобылке Вязопурихе обрывается, закончившись самой важной переменой в жизни Холстомера — его выхолащивают, чтобы не продолжать в роду пегости. Его отличие от всех порождает склонность к серьёзности и глубокомыслию.

Молодой мерин замечает, что люди руководствуются в жизни не делами, а словами. И главное среди слов — «моё». Это слово изменяет поведение людей, заставляет их часто лгать, притворяться и не быть тем, чем они являются на самом деле. Это слово было виной тому, что мерина передают из рук в руки. Хотя он обходит знаменитого рысака Лебедя, Холстомера все-таки продают барышнику: из-за того, что он пегий и принадлежит не графу, а конюшему.
Его покупает гусарский офицер, у которого мерин проводит лучшее время своей жизни. Хозяин красив, богат, холоден и жесток — и зависимость от такого человека делает любовь к нему Холстомера особенно сильной. Хозяину нужна именно необьиная лошадь, чтобы ещё больше выделяться в свете, ездить к любовнице, нестись по Кузнецкому, чтобы все сторонились и оглядывались. И Холстомер служит беззаветно, думая: «Убей, загони меня, <…> я тем буду счастливее». Он любуется хозяином и собой рядом с ним.
Но в один чёрный день любовница бросает офицера, уезжает с другим. Гусар, в погоне за ней, загоняет Холстомера. Тот дрожит всю ночь и не может есть. Наутро ему дают воды, и он навек перестаёт быть той лошадью, какою был. Холстомера продают барышнику, потом старушке, краснорядцу, мужику, цыгану и, наконец, здешнему приказчику.
Когда табун в следующий вечер возвращается с луга, хозяин показывает лучших, самых дорогих лошадей приехавшему гостю. Гость нехотя хвалит. Проходя мимо Холстомера, он хлопает его по крупу и говорит, что такой же «расписной» мерин был и у него когда-то. Холстомер узнает в обрюзгшем старике своего бывшего любимого хозяина-гусара.
В барском доме, в роскошной гостиной, за чаем сидят хозяин, хозяйка и гость. Бывшему гусару Никите Серпуховскому теперь за сорок. Когда-то очень красивый, сейчас он опустился «физически, и морально, и денежно». Он промотал состояние в два миллиона и ещё должен сто двадцать тысяч. И поэтому вид счастья молодого хозяина унижает Серпуховского. Он старается вести разговор о своём прошлом, когда был красив, богат, счастлив.
Хозяин перебивает его и говорит о своей нынешней жизни, хвастая тем, что имеет. Этот скучный для обоих разговор, в котором они не слышат друг друга, продолжается до утра, пока Серпуховской не напивается и, шатаясь, не уходит спать. У него не хватает сил даже раздеться до конца — в одном неснятом сапоге он валится на кровать и храпит, наполняя комнату запахом табака, вина и грязной старости.
Ночью табунщик Васька на Холстомере едет в кабак и держит его до утра на привязи рядом с мужицкой лошадью, от которой к мерину переходит короста. Через пять дней Холстомера не гонят в поле, а ведут за сарай. Когда ему перерезают горло, ему кажется, что вместе с большой струёй крови выходит из него вся тяжесть жизни. С него снимают шкуру. Собаки, воронье и коршуны растаскивают конину, ночью приходит и волчица; через неделю у сарая валяются только кости. Но и эти кости уносит потом мужик и пускает их в дело.
«Ходившее по свету, евшее и пившее мёртвое тело Серпуховского убрали в землю гораздо после». И спрятать туда гниющее, кишащее червями тело в новом мундире и вычищенных сапогах, — было лишним, ненужным затруднением для людей.