2004年7月4日:“自由之塔”的建设工作在美国独立日当天开始。一块重达20吨的花岗岩被作为地基放入施工现场。这块花岗岩上铭刻了这样的碑文:“为了纪念和铭记在2001年9月11日失去他们生命的遇难者,以及作为对永久的自由精神的贡献。2004年7月4日。”
2005年5月:考虑到越来越严重的安全问题,纽约州州长帕塔基要求对“自由之塔”进行重新设计。2005年6月,经过修改的方案再次出台。经过修改之后,“自由之塔”位于世贸中心原址的西北角,远离周围的一条高速公路。此外,大厦200英尺的地基将使用一层钢筋混凝土墙壁来遮盖。纽约警方此前曾表示原设计方案使大厦容易遭到卡车炸弹的袭击。