Идея прокладки стальной магистрали в сторону Ярославля во многом принадлежала профессору математики МГУ Федору Чижову, будущему крупному теоретику промышленно-торгового развития России. К строительству "первой русской" (т.е. без участия иностранного капитала) частной железной дороги от Москвы до Сергиева Посада он привлек группу московских купцов. Активным его помощником стал состоятельный и деятельный купец Иван Федорович Мамонтов, отец будущего известного мецената Саввы Мамонтова. В 1859 году императором Александром II было Высочайше утверждено решение о строительстве железной дороги от Москвы до Сергиева Посада с условием в ближайшие три года продлить её до Ярославля, так как дорога только до Сергиева Посада считала «роскошью» и, по мнению Главноуправляющего путями сообщения, серьёзной транспортной нагрузки нести не могла. Место для расположения станции выбиралось с большим трудом.Предлагалось разместить вокзал у Сухаревой башни, у Крестовской заставы, или вообще его не строить, а отправлять поезда с уже существовавшего вокзала Петербурго-Московской железной дороги. После долгих споров решили строить вокзал на Каланчёвской площади. Проектирование вокзала было поручено архитектору М.Ю. Левестаму, однако, его проект не одобрило Правление дороги.Окончательный проект вокзала составил архитектор Р.И. Кузьмин. В 1898 – 1899 железная дорога дотянулась до Архангельска, к ней примкнули другие линии,вокзал в Москве стал тесным. Новый проект перестройки вокзала был составлен архитектором Л.Н. Кекушевым, вскоре для дальнейшей перестройки здания был приглашён архитектор Ф. О.Шехтель. Однако Шехтель придал вокзалу совершенно иной вид – к нему был пристроен фасад, прообразом которого послужил павильон Русского Севера,выполненный по проекту художника К. А. Коровина для Нижегородской ярмарки 1896 г. Здание вокзала включило в себя элементы древнерусской архитектуры, творчески осознанные и переработанные мастером.Высокая, как у древнерусских теремов, кровля, широкий фриз из зелено-коричневой глазурованной плитки, майоликовые вставки с сюжетами по «северным» рисункам Шехтеля, устремленная ввысь боковая левая башня, гигантская входная арка вестибюля с килем-козырьком и полукруглыми башенками по бокам – все эти элементы перетекают друг в друга и создают неповторимый былинно-эпический образ здания. Удачное расположение башен приводит к совершенно разному восприятию здания из разных точек Каланчёвской площади.