Trước kia phố Hàng Khay là đất thôn Vũ Thạnh thuộc tổng Tiền Túc (sau tổng Thuận Mỹ) huyện Thọ Xương cũ.

Theo nhà nghiên cứu Nguyễn Vinh Phúc thì tên gọi Hàng Khay đã có từ lâu đời và không phải chỉ gồm có đoạn phố ngày nay, mà gồm cả đoạn cuối phố Tràng Tiền nữa. Đây là đất làng Cựu Lâu.

Congdongviet net -200502-133825.PNG

Cho tới trước khi Pháp xâm lược, dọc phố Hàng Khay có những cửa hàng chuyên làm bán các đồ gỗ khảm xà cừ như sập, ghế bàn, tủ chè, khay... Cũng theo ông Nguyễn Vinh Phúc, có tới ba ông tổ nghề khảm khác nhau: ông Nguyễn Kim sống đời Lê Cảnh Hưng, người làng Thuận Nghĩa, Thanh Hóa; ông tổ họ Vũ làng Chuôn huyện Phú Xuyên; ông tổ nghề khảm Trương Công Thành người đời Lý Nhân Tông. Có thể ba ông đã có công phổ biến hoặc cải tiến nghề khảm ở ba địa phương khau, và từ đó lan tỏa ra các vùng xung quanh.

Khi Pháp chiếm đóng, đây là một trong những con phố mà chúng chú trọng mở mang đầu tiên. Năm 1886, đốc lý Hà Nội Halais đã cho mở đường mới từ đống đổ nát do sự xâm lược của chúng gây ra. Ngôi nhà ba tầng số 3 phố Hàng Khay hiện nay trên nóc vẫn còn dòng chữ số ghi năm xây dựng là 1886.

Đầu thời Pháp thuộc phố này và phố Tràng Tiền gọi chung là phố Thợ Khảm (rue des Incrusteurs). Năm 1886 đổi lại thành phố Paul Bert (rue Paul Bert). Sau Cách mạng hai phố đã được tách riêng và có tên gọi như ngày nay