وجه تسميه اين باغ به "ارم" عمارت و باغ بزرگي است كه بنا به روايات در زمانهاي پيشين به رقابت بهشت ، به وسيله شداد پسر عاد پادشاه عربستان جنوبي  احداث گرديده است . شداد چون وصف بهشت را شنيد بر آن شد كه باغها و كاخ هائي به اوصاف آن بسازد و دستور داد تا طلا و زبرجد و ياقوت فراهم آوردند و صد نفر مهندس كه با هر كدام هزار كارگر كار مي كرده مشغول بكار شوند . پس در دمشق يا اسكندريه و يا  در يمن بين صنعا و حضر موت ، شهري يا باغي بهشت مانند ساخت ، ولي چون خواست با لشكريانش وارد آن بهشت شود در نزديكي شهر دهشتي همه را عارض شد و هلاك گرديدند و بهشت او هم در اعماق زمين فرو رفت . قرابت لفظي ارم و آرم بعضي مفسرين  را معتقد ساخته كه ارم با آراميان مرتبط و شهر دمشق همان شهر ارم است . بهر حال پس از آنكه شهر ارم همراه باغ و عمارتش بهر علتي در اعماق خاك فرو رفته ، بيادگار آن كه مانندش ساخته نشده بود و داستانش نيز در تاريخ عبرتي براي مردمان گرديده ، بوستانها و گلستانهاي زيادي را پس از آن ارم ناميده اند كه از آن جمله باغ ارم شيراز است .