27 июня 1937 года был исключен из ВКП(б) «за потерю классовой бдительности».[7] В личном деле Рокоссовского имелась информация, что он был тесно связан с К. А. Чайковским.[8] 22 июля 1937 г. уволен из РККА «по служебному несоответствию».[9] М. Н. Тухачевский, В. М. Примаков, Б. М. Фельдман дали показания как на участников военного заговора в РККА на комкора И. С. Кутякова и прочих, тот показал на командарма 2 ранга М. Д. Великанова и прочих, а тот, в числе прочих, показал на К. К. Рокоссовского.[10] Начальник разведотдела штаба ЗабВО дал показания, что Рокоссовский в 1932 г. встречался с начальником японской военной миссии в Харбине Мититаро Комацубара.[2] В августе 1937 г. поехал в Ленинград, где был арестован по обвинению в связях с польской и японской разведками, став жертвой ложных показаний. Два с половиной года провёл под следствием (Следственное дело № 25358-1937).

С 17 августа 1937 г по 22 марта 1940 г., согласно справке от 4 апреля 1940 года[11], содержался во Внутренней тюрьме УГБ при НКВД по Ленинградской Области на Шпалерной улице[11]. По рассказам жены маршала Казакова[4], Рокоссовский подвергался пыткам. В этих пытках принимал участие начальник Ленинградского УНКВД Заковский. Рокоссовскому выбили несколько передних зубов, сломали три ребра, молотком били по пальцам ног, а в 1939 его выводили во двор тюрьмы на расстрел и давали холостой выстрел. Однако, Рокоссовский не дал ложных показаний ни на себя, ни на других [12]. По рассказу правнучки, в своих записях отметил, что враг посеял сомнения и обманул партию — это привело к арестам невиновных.[13] По сведениям полковника юстиции Климина Ф. А., бывшего в числе трех судей Военной коллегии ВС СССР разбиравших дело Рокоссовского, в марте 1939 состоялся суд, но все свидетели давшие показания уже были мертвы. Рассмотрение дела было отложено на доследование, осенью 1939 г. состоялось второе заседание, также отложившее вынесение приговора.[14] По некоторым предположениям, Рокоссовский был этапирован в лагерь[3]. Есть версия, что все это время Рокоссовский под псевдонимом находился в Испании в качестве военного эмиссара, предположительно Мигель Мартинес из «Испанского дневника» М. Е. Кольцова.[15]

В марте 1940 был освобожден в связи с прекращением дела, при ходатайстве С. К. Тимошенко к И. В. Сталину, и реабилитирован. К. К. Рокоссовского полностью восстанавливают в правах, в красноармейской должности и в партии, весну проводит с семьей на курорте в Сочи. В том же году с введением генеральских званий в РККА ему присваивается звание «генерал-майор». Снова командуя 5-м кавалерийским корпусом участвовал в освободительном походе в Бессарабию.