Das RKW wurde am 10. Juni 1921 als „Reichskuratorium für Wirtschaftlichkeit in Industrie und Handwerk“ in Berlin gegründet. Die Initiative ging vom Wirtschaftsministerium aus, das das RKW seit 1925 auch förderte. Ziel war es, die deutsche Wirtschaft nach dem Ersten Weltkrieg möglichst schnell wieder international wettbewerbsfähig zu machen. Dazu sammelte und verbreitete das RKW Methoden und Instrumente zur Steigerung der Wirtschaftlichkeit. Erarbeitet wurden diese in „Gemeinschaftsarbeit“ von sogenannten Rationalisierungsträgern und Rationalisierungsgemeinschaften (RG). Bis auf den heutigen Tag hat sich die RG Bau aus letzte der einst zahlreichen Rationalisierungsgemeinschaften erhalten. Andere sind im RKW oder in selbständigen Organisationen aufgegangen.
Nach dem Zweiten Weltkrieg entstand das RKW neu als „Rationalisierungskuratorium der Deutschen Wirtschaft“. Als Produktivitätszentrale im Zusammenhang mit dem Marshall-Plan und darüber hinaus war es am Wiederaufbau der Wirtschaft beteiligt. Es entstanden in den elf westlichen Bundesländern eignen Landesgruppen, nach 1990 dann auch in den ostdeutschen Bundesländern.
1998 gab sich das RKW eine neue Struktur. Es wurde es in „RKW Rationalisierungs- und Innovationszentrum der Deutschen Wirtschaft e.V.“ umbenannt. Die Landesgruppen wurden wirtschaftlich und organisatorisch selbstständige Einheiten. Seitdem besteht das RKW-Netzwerk aus RKW in den Ländern und RKW Kompetenzzentrum.