1923（大正12）年9月、関東地方を襲った関東大震災は、東京大学にも大きな被害を及ぼした。震災で発生した猛火によって、図書館も一瞬のうちにほとんどの書物とともに消失してしまったのだ。

しかし、図書館復興に向けた援助の手が差し伸べられるのは早かった。国内外を問わず次々と本の寄贈の申し出があり、その総数は26万冊を超えた。

そんな折、海外から１通の電報が届いた。当時、アメリカにおいて巨万の富を成していたロックフェラー財団からの寄付の申し出だった。それは当時の金額で400万円という、巨額のものであった。しかも、寄付金の用途には何ら条件が付されておらず、ただ、1日も早い学術研究の回復と安全堅牢な設計による図書館の迅速な建築が求められているのみだった。

この申し出を受諾した東京大学は、力強く再建への道を歩み始める。後に総長も努めた内田祥三教授が設計監督を担当し、早々に設計案が決定された。

1926（大正15）年1月28日、いよいよ着工の運びとなり、施工は大林組が担当することとなった。建設にあたっては、震災の教訓を活かした頑強な構造となるよう、鉄骨鉄筋コンクリート造が採用された。材料の選定や施工計画の決定に際しては、綿密な打ち合わせが繰り返し行われた。当時の記録によると、その仕事ぶりはコンクリートを打設した後に、さらにセメントモルタルを吹きつけて躯体を補強するという入念なものだった。

約3年の建設期間中に、この図書館の再建に携わった人員は延べ22万人にも及ぶ大工事となった。そして1928（昭和3）年11月末日、ついに待望の新しい図書館が完成し、翌12月1日に竣工式を迎えた。大林組の「誠実な仕事」が実を結んだ瞬間であった。