Tòa đại biệt thự được xây dựng sau khi Quốc Hội quyết định thành lập Ðặc khu Columbia và chọn nơi đây làm thủ đô Hoa Kỳ ngày 16 tháng 7, 1790. Tổng thống đầu tiên George Washington cùng với kỹ sư Pierre L"Enfant, người trách nhiệm thiết kế thành phố Washington đã chọn địa điểm này. Người vẽ đồ án tòa nhà là James Hoban người Ireland nên ông lấy kiểu dinh thự của một công tước ở Dubin, Ireland là tòa nhà Leinster (nay là tòa nhà Quốc Hội Ireland) để vẽ kiểu Tòa Nhà Trắng. Công việc xây dựng tiến hành chậm chạp mất 8 năm vì lúc đầu định tuyển mộ nhân công từ Âu Châu sang nhưng ít ai chịu đi sang một vùng đất mới hoang vu nên phải quay trở lại tìm nhân công địa phương là những người Mỹ gốc Phi Châu. Phí tổn xây Tòa Nhà Trắng tốn $232,371.83 thời ấy tương đương với $2.4 triệu ngày nay. Lúc ban đầu tòa nhà đơn giản, phần tiền diện ở phía Bắc nhìn ra đường Pennsylvania, cổng sau nhìn ra đường Constitution như ta thấy ngày nay chỉ được xây thêm vào năm 1825 cũng như chưa có hai dãy nhà ở cánh Ðông và Tây như hiện nay.
Năm 1814 trong cuộc chiến tranh với người Anh, quân Anh tấn công Washington và thiêu rụi nhiều tòa nhà chính quyền trong đó có Tòa Nhà Trắng. Binh lính Anh đốt cháy tòa nhà chỉ còn trơ trọi những bức tường đen đúa và lấy đi nhiều tài sản quý giá, sau này người ta tìm lại được 2 món là bức tranh chân dung George Washington được Ðệ Nhất Phu Nhân Dolley Madison mang ra ngoài biệt thự và một hộp nữ trang của gia đình Tổng Thống Franklin Roosevelt do một người Canada hoàn trả năm 1939. Người này nói ông nội của ông đã lấy hộp này từ Washington nay trả lại cho Washington. Sau khi đốt phá thành phố, binh linh Anh rút về Halifax (trên đảo Nova Scotia phía Ðông Canada) và đoàn tàu đã bị bão tố đánh chìm ngoài khơi Prospect nên những tài sản cướp được cũng chìm dưới đáy biển đến nay vẫn chưa biết vị trí để thu hồi lại.
Căn biệt thự đã được tu sửa nhiều lần dưới nhiều đời tổng thống, vào đầu 1900 kiến trúc phụ ở Cánh Tây được xây thêm để làm văn phòng cho số lượng nhân viên ngày càng gia tăng. Nơi đây có văn phòng tổng thống gọi là Phòng Bầu Dục cũng như phòng họp nội các. Kế cận là tòa nhà Eisenhover sát phía đường bên ngoài vòng rào là ban nhân viên thuộc Phủ Tổng Thống làm việc. Ở dãy nhà Cánh Ðông hiện là văn phòng của Ðệ Nhất Phu Nhân cũng như ban nhân viên của bà được xây thêm vào năm 1942. Xây vào thời kỳ Ðệ Nhị Thế Chiến đầu tiên với mục đích che giấu các công sự phòng thủ xây bên dưới để chuẩn bị cho những tình huống khẩn cấp. Tòa Nhà Trắng mới nhìn vào người ta tưởng nó chỉ có một hoặc hai tầng nhưng thật ra nó có đến 6 tầng tất cả. Ngôi nhà chính có tầng trệt và 3 tầng lầu bên trên cũng như 2 tầng hầm phía dưới với diện tích tổng cộng 5,100 m2 (55,000 sq ft). Nội thất có tất cả 132 phòng và 35 phòng tắm, 8 cầu thang, 3 thang máy, có sân quần vợt, rạp chiếu phim, hồ bơi, đường chạy bộ, sân chơi bowling v.v...
Ðến đời Tổng Thống Jefferson mở cửa cho công chúng vào xem tòa nhà đẹp của nước Mỹ này theo từng đoàn và thông lệ này được duy trì cho đến những năm sau này. Sau ngày khủng bố tấn công New York, 11 tháng 9, 2001, Tòa Nhà Trắng đóng cửa không cho dân chúng vào xem nữa. Hiện nay muốn vào xem phải ghi danh trước ít nhất 6 tháng và sẽ được thông báo cho biết ngày giờ vào xem và cũng đi theo từng đoàn.