Остров Летний сад находится между реками Невой, Фонтанкой, Мойкой и Лебяжьей канавкой. До прокладки в 1715 году Лебяжьей канавки он входил в состав Адмиралтейского острова. Современное название возникло в конце 1710-х годов по Летнему саду, который расположен на острове.

Устройство сада началось в 1704 году по распоряжению Петра I, который лично составил первый его план. В дальнейшем разбивкой сада занимались архитекторы Иван Матвеев, Жан-Батист Леблон, Михаил Земцов и Бартоломео Растрелли. В XVIII веке сад был гораздо больше, чем теперь, он выходил за пределы острова и простирался до Итальянской улицы. Собственно на острове располагался 1-й Летний сад, за Мойкой – 2-й, а на противоположной стороне будущей Садовой улицы – 3-й сад. На месте 2-го Летнего сада в 1796—1800 годах Василий Баженов и Винченцо Бренна построили Инженерный замок с павильонами. Окончательно современную планировку территории создал в 1825 году Карл Росси. Сохранившаяся часть 3-го Летнего сада теперь именуется Михайловским садом.