同济大学建校以来,学校设立专人管理档案。1960年成立文书档案室,隶属校党委办公室。1984年9月科技档案室成立,隶属校长办公室。

     1987年6月10日,在原有文书档案室和科技档案室的基础上正式成立同济大学档案馆,由学校秘书长领导,1988年2月起学校取消秘书长编制,改由分管校长领导。该馆集职能管理和科学文化事业机构为一体,负责集中统一管理全校各种门类的档案,对全校档案工作进行全面规划、组织、指导和监督,是直属学校的正处级机构。

       1995年3月,档案馆进行内部机构改革,打破原来的管理模式,遵循档案工作的规律,针对档案工作的基本环节,设立接收指导科、管理利用科、技术服务科。接收指导科主要负责全校兼职档案员的业务指导和培训,接收各类档案并分类、编目等工作。管理利用科主要负责库房管理,档案的利用接待等工作。技术服务科主要负责档案馆网页的制作维护、档案网络管理系统的维护与数据备份、全馆局域网的系统管理、档案信息的编研及全馆事务性等工作。

1996年4月24日,同济大学成立了档案工作管理委员会,成员由分管校领导和各主要部处负责人担任。学校各立卷部门有领导分管负责,配备兼职档案员。全校兼职档案管理人员都具有初、中级专业技术职称。档案馆定期对部门兼职档案员进行业务培训,对预立卷工作进行督促和检查,完善了档案工作管理体制,形成了以档案馆为中心的档案管理网络。

     1997年同济大学档案馆被国家档案局批准为科技事业“国家一级档案管理”单位。

     1998年10月26日校长办公会议研究同意成立校史、校志研究室,挂靠档案馆,2007年9月机构撤销。

     2000年4月原上海铁道大学和同济大学合并组建为新的同济大学,原上海铁道大学综合档案室随之并入同济大学档案馆。