Затем Хуппенкотен встречался с Канарисом в доме у Гейдриха и у самого Канариса. Казалось, что они находятся в прекрасных отношениях. Хуппенкотен бывал также в столовой абвера при штабе верховного командования и виделся еще раз с Канарисом в ресторане Халька.
Гестапо было недовольно тем, что в руках Канариса находились разведка, контрразведка и обеспечение безопасности в армии. Хуппенкотен позднее писал: «Практически стало ясно, что это положение необходимо изменить, и особенно следовало пересмотреть вопрос о контрразведке».
Гиммлер и Гейдрих не могли больше допускать, чтобы вермахт ведал через абвер вопросами обеспечения безопасности на территории Северной Франции и Бельгии. В конце 1941 года Гейдрих писал генералу Иодлю о необходимости пересмотреть отношения между разведкой вермахта и секретной полицией гестапо. Это письмо переслали Канарису, после чего состоялось специальное совещание, в котором приняли участие Канарис, Гейдрих, Мюллер (из гестапо), полковник фон Бентивеньи и Хуппенкотен. На этом совещании Гейдрих и Канарис обещали друг другу быть в будущем откровенными по всем вопросам.
Однако Хуппенкотен позднее в своих показаниях писал: «Гейдрих заявил, что он пошел на соглашение с Канарисом, учитывая военное время. Он считал, что после войны всю работу, которая велась военной разведкой, следует передать гестапо».
Наступила зима 1941 года. Немецкие армии мерзли на фронте под Москвой. Гейдрих снова настаивал, чтобы обеспечение безопасности во Франции и Бельгии было передано в руки гестапо. В связи с этим Канарис заявил о готовности передать в ведение гестапо большую часть своей военной полиции. Он, казалось, был готов уступить любым требованиям Гейдриха. Но когда спустя несколько недель Хуппенкотен получил от Бентивеньи проект соглашения, он был возмущен тем, как резко отличался этот проект от того, что говорилось на словах. Канарис объяснил, что по не зависящим от него причинам возникли большие трудности в передаче военной полиции в ведение гестапо. Гейдрих в ответ на это с раздражением написал Канарису, что он не видит никакого смысла снова вести переговоры по вопросам, которые были полностью согласованы. Он сожалеет, что во время этих переговоров отсутствовала стенографистка, так как точная их запись помогла бы избежать каких-либо споров.
«Он больше не намерен вести переговоры с Канарисом, а предложит рейхсфюреру решить эти вопросы непосредственно с Кейтелем», — писал Хуппенкотен.
Канарис вместе с Бентивеньи немедленно отправился к Гейдриху. Однако тот не принял их. Канарис решил дождаться Гейдриха, но безрезультатно просидел в приемной несколько часов, а затем уехал, приказав Бентивеньи не уходить до тех пор, пока он не увидит. Гейдриха. Через некоторое время к Бентивеньи вышел Мюллер и убедил его уехать. Тогда Канарис отправился к Кейтелю, который позвонил Гейдриху, и тот согласился снова вступить в переговоры. Во время этой встречи были сформулированы условия соглашения, которое затем и было подписано. Гестапо была предоставлена возможность действовать во Франции. Оно повело борьбу против организации, занимавшейся спасением сбитых над Францией английских летчиков и английской агентуры. С невиданной жестокостью гестаповцы подавляли движение Сопротивления. Гейдрих мог торжествовать.
Однако еще до того как это соглашение было подписано, Хуппенкотен начал собирать более подробные сведения о Канарисе, связанные с его происхождением. Он как бы в шутку утверждал, что Канарис — потомок греческого национального героя адмирала Константина Канариса. А как известно, греки стали врагами немцев, в то время как итальянцы — их союзниками. Однажды адмирал вручил Хуппенкотену копию своего фамильного дерева, из которой было видно, что его предки являются выходцами из Италии. Вручая эту копию, он сказал: «Это пополнит ваше досье».
Гейдрих, получив новый пост — генерального комиссара безопасности оккупированных стран, разъезжал по Европе. По его приказу проводились массовые расстрелы старших офицеров, профессоров, коммунистов, евреев, участников движения Сопротивления. Методы управления, которых придерживался генерал фон Фалькенхаузен в Бельгии, казались Гейдриху слишком мягкими. Он хотел, чтобы кровь лилась рекой.
Еще более беспощадным был его хозяин. В 1940 году абверу было приказано ликвидировать в Северной Африке генерала Вейгана, после того как Гитлер писал Муссолини: «Я недоволен выбором Вейгана для наведения порядка в Северной Африке». Он боялся, что Вейган перейдет на сторону союзников. А в начале 1942 года из концлагеря в Кёнигштейне (Саксония) бежал французский генерал Жиро, которому удалось добраться до неоккупированной части территории Франции. Гитлер приказал также убить и его.
Пикенброк заявил в то время: «Следует совершенно ясно сказать Кейтелю, а он пусть доложит фюреру, что мы, абвер, являемся военной организацией, а не организацией убийц, подобно СС и СД». Адмирал Канарис, получив приказ убить Жиро, при случае сообщил об этом Кейтелю. Фельдмаршал, сам неодобрительно относившийся к кровавым расправам над генералами, согласился, что абвер должен передать это дело в руки СД.
Гейдрих стал также протектором Богемии и Моравии. Затяжка войны с Россией делала Чехословакию опасной для Германии в будущем, а методы правления, проводимые там бароном фон Нейратом, казались слишком мягкими. Гейдрих, сменивший Нейрата, в сентябре 1941 года объявил в Чехословакии чрезвычайное положение и ввел смертную казнь за малейшее проявление недовольства. За два месяца было казнено 1100 чехов. Гейдрих продолжал осуществлять контроль за деятельностью гестапо и в других оккупированных странах. 7 мая 1942 года он перебросил из Польши во Францию генерала СС Оберга, приказав ему покончить с растущим движением Сопротивления. Затем Гейдрих отправился в Гаагу, чтобы проследить за проведением массовых расстрелов. В конце мая он вернулся в Прагу и объявил, что молодые чехи будут призываться на военную службу.