Ông sinh ngày 2 tháng 4 năm 1904, tại thôn Đông, xã Đoàn Lâm (nay là xã Thanh Tùng) huyện Thanh Miện, tỉnh Hải Dương, trong một gia đình nhà nho nghèo có truyền thống yêu nước. Trong suốt cuộc đời hoạt động của mình, ông còn sử dụng bí danh Anh Cả, hoặc Sao Đỏ.

Tháng 12 năm 1925, ông được kết nạp vào Việt Nam thanh niên cách mạng đồng chí Hội. Từ đấy ông và một số thanh niên yêu nước khác theo học lớp huấn luyện chính trị do Nguyễn Ái Quốc, Hồ Tùng Mậu, Lê Hồng Sơn hướng dẫn Tháng 10 năm 1929, tại Hồng Kông ông được kết nạp vào An Nam cộng sản Đảng.

Tháng 5 năm 1931, ông bị mật thám bắt giải về giam ở bốt Catina Sài Gòn. Ít lâu sau, ông bị đưa xuống tàu biển Cờlôtdơsap chở ra Hải Phòng và đưa vào giam ở nhà tù Hỏa Lò Hà Nội. Cuối năm 1931, ông lại bị đưa về Hải Dương.

Tháng 6 năm 1932, tòa đề hình Hải Dương xử ông tù chung thân và chuyển về giam ở nhà tù Hỏa Lò Hà Nội. Cuối năm 1932, ông trốn thoát lên Vĩnh Yên, rồi về Thanh Miện (Hải Dương) hoạt động. Cuối năm 1933, khi đi công tác Bắc Giang, ông lại bị bắt, bị giam ở Hỏa Lò (đầu 1934). Tháng 5 năm 1935 bị đày lên nhà tù Sơn La.

Năm 1943, Đảng bố trí cho ông vượt ngục về làng Vạn Phúc (Hà Đông) gặp Hoàng Văn Thụ để nhận nhiệm vụ, ông được Đảng chỉ định làm ủy viên dự khuyết Ban Chấp hành Trung ương Đảng, phụ trách công tác tài chính và công tác binh vận của Đảng; đồng thời được phân công hoạt động trong Mặt trận Việt Minh giữ chức Chủ nhiệm của Tổng bộ.

Chuẩn bị khởi nghĩa, Uỷ ban dân tộc giải phóng do Hồ Chí Minh là Chủ tịch; Ban thường trực gồm 5 người, trong đó có Nguyễn Lương Bằng.

Sau Cách mạng tháng Tám, ông từng giữ chức vụ Tổng giám đốc Ngân hàng quốc gia Việt Nam, đại sứ đầu tiên của Việt Nam tại Liên Xô cũ (1952-1956). Trưởng ban Kiểm tra Trung ương. Ngày 25/4/1956 ông được cử giữ chức Tổng Thanh tra Ban Thanh tra trung ương của Chính phủ; ngày 29/9/1961 ông tiếp tục được cử giữ chức Tổng thanh tra Ủy ban Thanh tra của Chính phủ. Tháng 9 năm 1969 được bầu làm Phó Chủ tịch nước Việt Nam Dân chủ Cộng hòa.

Ông mất ngày 20 tháng 7 năm 1979

Trong suốt cuộc đời mình, ông đã hết lòng phấn đấu,hy sinh vì lợi ích của dân tộc và hạnh phúc của nhân dân, không màng danh lợi.
Để ghi nhận công lao của ông, nhà nước VIệt Nam đã truy tặng Huân chương Sao Vàng cho ông. Một nhà tưởng niệm cũng được xây dựng tại quê hương ông.

Tên ông được đặt cho các phố ở Hà Nội (nối Tôn Đức Thắng với Tây Sơn thuộc quận Đống Đa), thành phố Hồ Chí Minh (nối Tân Mỹ và Hoàng Quốc Việt), Đà Nẵng (nối Nguyễn Văn Cừ và Tôn Đức Thắng) và đại lộ chính tại thành phố Hải dương.

Hàng đầu từ trái sang: Đồng chí Nguyễn Lương Bằng, Tướng Phạm Kiệt và Chủ tịch Hồ Chí Minh. Ảnh: Tư liệu