Около 40 г н. э. римский император Калигула захотел перенести статую Зевса к себе в Рим. За ней были посланы рабочие. Но, по легенде, статуя расхохоталась, и рабочие в ужасе разбежались. Статуя пострадала после землетрясения во II веке до н. э., затем была отреставрирована скульптором Димофонтом. В 391 г н. э. римляне, после принятия христианства, закрыли греческие храмы. Император Феодосий I, утверждавший христианство, запретил Олимпийские игры как часть языческого культа. Наконец от храма Зевса Олимпийского осталось только основание, некоторые колонны и скульптуры. Последнее упоминание о ней относится к 363 г. н. э. В начале V века н. э. статую Зевса перевезли в Константинополь. Статуя сгорела при пожаре храма 425 г. н. э. или в пожаре в Константинополе в 476 г. н. э.
К XII веку н. э. александрийская бухта настолько заполнилась илом, что корабли больше не могли ею пользоваться. Маяк пришёл в упадок. Бронзовые пластины, служившие зеркалами, вероятно, переплавили на монеты.
В XIV веке маяк был полностью уничтожен землетрясением. Несколькими годами позже арабы\турки использовали его обломки, чтобы построить военную крепость. Крепость впоследствии не раз перестраивалась.
