1940年5月，朱可夫凭借哈勒欣河战役（即“诺门罕战役”）立下的战功，在红军恢复将军军衔制后，晋升大将军衔。不久又担任苏联最大的军区基辅军区司令员。
此时欧洲战场已经打了半年多，虽然苏联和德国已经签署《互不侵犯条约》，但斯大林和苏共高层都明白德国和苏联迟早会爆发战争。在斯大林看来，战争一旦爆发，德国的进攻重点将是北方的列宁格勒和南方的基辅。因为从经济角度看，列宁格勒是苏联最重要的工业基地之一，还是北方重要的交通枢纽；基辅和整个乌克兰更重要，这里是苏联最富庶的地区，有粮食、煤和石油。所以斯大林把基辅军区交给朱可夫，足以彰显对他的器重。
朱可夫曾仔细研究过法国战役，尤其注意研究了德军的新战术。他发现德国人并没有什么特殊的战斗技术装备，法国、英国的飞机和坦克不仅不比德国的差，数量上也比德国人多。之所以德国取得如此辉煌的胜利，是因为德军将战斗技术装备全都集中使用在选定的方向上，因而能实施快速突击。
作为一名大军区的司令员，朱可夫的工作已经不局限于军队，还要与当地行政机关打交道。当时担任乌克兰的是赫鲁晓夫，后者回忆那段时期的经历时，对朱可夫的评价颇高。
值得注意的是，随着朱可夫地位的上升，其讲话风格越来越直接，他公开指责军队里一些高级指挥员轻视训练，不研究军事历史。他强调红军应该继承俄国军队的一些传统，同时提醒人们要警惕复杂的国际环境中可能出现的敌人。在他看来，战争威胁已经越来越紧迫。
1940年12月至次年1月初，苏军在莫斯科进行了一次图上军事演习。对抗双方是以朱可夫和波罗的海军沿岸军区司令员库兹涅佐夫为“蓝方”，以西部特别军区司令员巴甫洛夫、参谋长克里莫夫斯基为“红方”。演习结果是蓝方突破红方防御，并击败了红方的重兵集团。
演习结束后，朱可夫和巴甫洛夫进行了讲评，随后诸将就离开莫斯科返回各自的驻地。出人意料的是，1月13日斯大林突然将众人召回莫斯科，在克里姆林宫进行了第二次讲评。除了参演的将领，苏共高层也都系数参加，军队中的国防委员、总参谋长和各军种司令员也都到场。
首先发言的是总长梅列茨科夫。由于事情突然，梅列茨科夫显然没有做好准备，他的报告总体感觉缺乏条理，前后不连贯，斯大林听了非常不满意。
第二个发言的是朱可夫。借着这个机会他首先肯定了演习对高级指挥员提高指挥水平的价值，随即开始提出自己想要讲的核心——白俄罗斯地区筑垒地域过于靠前，布局不合理，敌军的炮火完全可以覆盖整个防御纵深，必须重新加以布置。
朱可夫的发言打击面很大，不仅指出了西部特别军区防御方面的不足，还捎带着批评了负责筑垒地域工程的副国防委员沙波什尼科夫，甚至也牵扯到伏罗希洛夫。巴甫洛夫立即质问他：“在乌克兰筑垒地域的位置是否合适呢？”朱可夫见争执已起，就中止了发言。
下一个发言的是主管武器装备的副国防委员库利克。他的发言也很不合时宜，其建议扩大步兵师的编制至1.6万～1.8万人；火炮全部改用马拖运；坦克部队以连、营为单位编入步兵部队。他还强调“组建坦克和机械化军，目前还不易展开”。
库利克是要把红军拉回到20年前，德军在这时已经横扫西欧，其机械化部队显露出的战斗力有目共睹。国防委员铁木辛哥立刻站起来反驳道：“部队的领导干部都懂得尽快机械化的必要性，而只有库利克对这个问题还弄不清楚。不久前波兰军队用骑兵冲击德国坦克，库利克元帅的军事理论倒是跟他们相差不远！”
斯大林最后做了总结，他说：“现代战争是一场摩托化战争。在陆地、在空中、在水上和水下都是如此。战争的胜利将属于握有更多的坦克和部队摩托化程度更高的一方。”
这次讲评虽然规格很高，但大多数人在散会后也没有预料到它对苏军内部产生什么样的影响。事后可以看出，这是斯大林加快军队改革的一个重要转折点。
第二天，朱可夫正准备返回基辅，却再次被斯大林交到了办公室，而且这一次是单独召见。斯大林开门见山地说：“政治局决定解除梅列茨科夫的总参谋长职务，任命你接替他。”朱可夫没有推辞，离开斯大林的办公室又去见了老首长伏罗希洛夫，然后返回基辅办理交接工作。
1941年2月1日，朱可夫正式就任苏军总参谋长。半个月后，苏共召开第18次全体大会，朱可夫、秋列涅夫（敖德萨军区司令员）、基尔波诺斯（新任基辅军区司令员）、奥克佳布里斯基（黑海舰队司令员）、特里布茨（波罗的海舰队司令）纷纷被选为苏共候补委员。斯大林此举是有意提高军队的地位，提拔一批年轻将领。
随着地位的不断提升，朱可夫的讲话越来越多地出现在报纸上。2月23日，他发表了一篇文章，与以往总参谋长只谈好话不同，他明确指出了军队的不足——缺乏训练、墨守成规。
对于本职工作，朱可夫从来不敢懈怠。自担任总参谋长以后，他每天的工作都在15小时以上。不过他并不会事必躬亲，而是在熟悉业务的同时，也找到了可以委以重任的人选。他认定瓦杜丁和华西列夫斯基是名副其实的人才，于是大胆启用他们，把很多重要事务交给他们去办，自己则把精力投入到全局性工作中。
根据分工，总参谋部直接归国防委员铁木辛哥领导。两个人都非常重视组建坦克兵团的工作，自1940年苏军恢复已经解散的机械化军后，组建坦克师、摩托化师的工作虽有进展，但远达不到战争的需要。斯大林对这件事颇有些为难。3月，他同意朱可夫提出的组建20个机械化军的方案，可苏联的军工生产任务繁重，无法在短期拿出所需的3.2万辆坦克。
朱可夫和第一副总参谋长瓦杜丁找到了铁木辛哥，一再强调组建机械化军的紧迫性。铁木辛哥沉默片刻，他坦言目前是非常时期，各个方面都在伸手要装备，如果要解决这个问题，就必须直接跟斯大林谈。不久他为朱可夫争取了一次面见斯大林的机会，但时间只有10分钟。
会面安排在一个星期六的晚上，位于斯大林在郊外的别墅，在场的还有铁木辛哥、库利克和莫洛托夫。朱可夫挑最紧要的内容向斯大林做了陈述，一贯主张跟德国保持友好关系的莫洛托夫有些不快，质问朱可夫：“你认为我们很快要同德国人打仗吗？”斯大林打断了莫洛托夫的话，示意让朱可夫把话说完。
当晚斯大林留下朱可夫共进晚餐，并在餐桌上继续讨论。斯大林谈到了空军，朱可夫认为德国空军非常强大，而苏军虽然新式飞机的性能超过德军，但数量太少。斯大林最后告诉他，很多问题都在逐步落实，现在不要空想暂时还得不到的物质东西。
种种迹象表明，德国即将对苏联采取军事行动。1941年4月，朱可夫向苏军各部门和各集团军发出警告：“整个3月和4月，德军统帅部都一直紧张地把部队从西线和德国中部调到邻接苏联边境的地区。”可此时苏联边界线上修建筑垒地域和野战阵地的工程还没有完工，很多地段才刚刚开始；本应修建更多的机场、建立更多的交通和通信枢纽也没能按期完成；铁路宽轨虽然已经延伸到新边境线，但运输能力依然很低。
在这段时间，朱可夫率领总参谋部制定了新的保卫苏联西部边境的详细计划。其中规定了每个集团军负责的地段，第一梯队每个师负责的防线。同时为每个集团军的第二梯队配备了一个机械化军。第一梯队的任务是打退敌人的进攻，第二梯队则是消灭一切突破边境防线的敌人。
在制定计划时，他发现波罗的海沿岸军区、西部军区、基辅军区和敖德萨军区都存在现有兵力不足以抵御德军突击的问题。他向斯大林请示，无论如何应该在5月前从内地军区动员若干个集团军，加强给西部几个边境军区。但斯大林担心会刺激希特勒，提供德国发动战争的借口，所以回绝了。
朱可夫不甘心，又提出以野营集训的名义向乌克兰和白俄罗斯各增调两个集团军。斯大林同意了这个方案，但再三叮嘱朱可夫要谨慎行事，采取必要的伪装措施。5月底，上述部队陆续抵达预定地域，共4个集团军28个师。不过这些部队普遍缺编，且没有完全配备编制规定的技术兵器。
5月中旬，总参谋部又制定了一个补充作战计划，规定边境地区的40个师担负的作战任务是迟滞敌军进攻速度，掩护全国主力的动员和战略集中。主力在边境线公里处展开，以机动防御尽量长久迟滞敌人的进攻。在两道防线之间，防御部队可以用设置障碍、炸毁桥梁和小股部队伏击的方式减缓敌军的推进。
朱可夫和伏罗希洛夫还商定，把更多的技术装备和物资输送到更靠近前沿的地区储备，以便一线部队可以就近获得补充。
从战争初期的进程来看。朱可夫的这个决定是错误的。德军迅速突破苏联边境，夺取了各军区的物资储备区，给后续作战补给和预备役组建都造成了巨大困难。朱可夫后来也承认，包括他本人在内的苏军高层没有预料到德军会一下子发动那样大规模的进攻。他原本预计战争最初的一段时间，主要交战地区会是苏联边境，总参谋部制定的作战计划也是按照这个假设编制的，但结果已经无需多言。
在苏军高层中，对战争的紧迫性感受最强烈的是铁木辛哥和朱可夫，但斯大林并不认同他们的看法。1941年6月14日，柏林的帝国大厦内，德军统帅部正在讨论巴巴罗萨计划的具体细节，空军司令戈林乐观地表示：“元首将带领德国走向胜利，就像在西方已经取得的胜利一样。”而在同一时间的克里姆林宫，铁木辛哥和朱可夫正面见斯大林，要求部队进入一级战备状态。斯大林严厉地质问他们：“你们要进行全国总动员，立即把部队调往西部边境吗？这就是战争，你们懂不懂？”
朱可夫向斯大林汇报了西部边境四个军区的兵力数字，斯大林则反问道：“你看，这还少吗？根据我们的情报，德国人还没有这么多的部队。”朱可夫又解释说，德国师都是齐装满员的，每个师有1.4万～1.6万人，苏联师则长期缺编（标准编制为1.4万人），每个师实际平均只有8000人，所以苏军的总兵力只有德军的一半。斯大林的回答是：“不能完全相信侦察！”
没有斯大林的同意，军队是绝不能向前线作任何移动的。根据总参谋部制定的计划，一旦遭到军事威胁，全部武装力量应进入高度戒备状态，立即在全国进行军队动员，向西部地区展开。但这个计划的启动必须由斯大林下达一个“特别决定”才能付诸实施。所以直到6月21日，西部军区各部队没有做好作战准备，大部分炮兵则被调离前线，到后方进行射击训练。
很显然，苏联在战争初期没有提前进入战备状态的大部分责任应该由斯大林承担。朱可夫战前担任总参谋长期间的成绩并不出色，但要考虑到战前苏军总参谋部的地位并不高，只是一个事务性机构，不能参与决策。所以在有限的职权下，西部边境的防御部署，尤其是西部特别军区存在的明显防御缺陷，他无力改变；组建机械化军的进度受军工生产能力的限制，他只能服从大局；在提前实行战争动员的问题上，他也无法说服斯大林。
在苏联内部，人们普遍相信斯大林的权威，认为他已经把所有问题都考虑周全了。所以上级没有下达指示，那就说明战争还不太可能爆发。
1941年6月18日，基辅特别军区边防部队抓到了一名德国士兵，并立即向军长费久宁斯基上校汇报。费久宁斯基亲自审讯了这名德军士兵，对方说自己喝醉了酒，打了一名军官，因为害怕被枪毙就跑到了苏联这边。这名士兵提供了一个惊人的消息：战争不久就要开始了，时间是6月22日凌晨。
这名士兵见费久宁斯基流露出怀疑的眼神，还信誓旦旦地说：“到了6月22日凌晨5点钟，你们如果仍然觉得我在撒谎，那就枪毙我好了。”
6月21日晚，朱可夫在莫斯科接到基辅军区参谋长普尔卡耶夫中将打来的电话，称一名德军司务长投诚。据这位司务长说，德军正在进入出发地域，将在次日凌晨3时发动进攻。
朱可夫立即向斯大林和铁木辛哥作了汇报。随后带着瓦杜丁，随同铁木辛哥一起赶赴克里姆林宫。在路上三人就商定，无论如何都要让部队进入战斗状态，否则一旦战争真的爆发，每个人都无法向苏联人民交代。
斯大林听到这件事的第一反应还是不太相信。此时苏共的高层也都赶到斯大林的办公室，斯大林环视一周，问道：“我们该怎么办呢？”
屋子里静悄悄的，没有一个人作出回答。铁木辛哥忍不住说：“应该立即命令边境军区所有部队进入一级战斗准备。”朱可夫则把来克里姆林宫前就草拟的命令读了一遍。斯大林听后表示：“现在下达这样的命令还太早，也许问题还可以和平解决。现在应该告诉部队，不要受任何挑衅的影响，以免问题复杂化。”
1、1941年6月22日至23日，德军可能在列宁格勒军区、基辅特别军区、波罗的海沿岸特别军区、西部特别军区、敖德萨军区正面实施突然袭击。袭击可能从挑衅行动开始。
2、我军的任务是：不受任何挑衅行动的影响，以免使问题复杂化。与此同时，列宁格勒、波罗的海沿岸、基辅、敖德萨各军区进入一级战备，以防德军或其盟军的突然袭击。
3、命令：6月21日夜间，隐蔽占领国境筑垒地域各发射点；6月22日拂晓前，将全部飞机，包括陆军航空兵的飞机分散到各野战机场，并加以周密伪装；所有部队进入战斗准备，军队应分散、伪装；防空部队不等补充兵员到达，立即进入战斗准备。城市和目标地区应采取灯火管制的一切措施；在没有接到特别命令的情况下，不得采取任何其他措施。
经过斯大林的授权后，朱可夫和瓦杜丁返回总参谋部，立即向各军区转发命令。至6月22日零时30分，命令下达完毕。
当天晚上，朱可夫联系上了波罗的海沿岸特别军区、西部特别军区和基辅特别军区的司令员以及他们的参谋长，确定他们已经到达各自的指挥岗位。22日凌晨3时，德国驻莫斯科大使舒伦堡接到一份电报，命令他立即去见莫洛托夫，通告如下信息：苏军在德国边界附近集结已经到了柏林认为无法容忍的地步，因此不得不采取适当的对策。
3时零7分，黑海舰队司令员奥克佳布里斯基报告，大量不明来历的飞机正向苏联海岸靠近。3时30分，西部特别军区报告，德军正在空袭白俄罗斯的城市；3时33分，基辅特别军区报告，乌克兰的城市正在遭到空袭；3时40分，波罗的海沿岸军区报告，敌机正在空袭考纳斯。
朱可夫回忆自己在确定战争已经爆发时，脑袋嗡嗡作响，全身的血液像沸腾了一样。他抓起电话打给斯大林，电话接通了却没人接。他又要了好几分钟，才听到值班员充满睡意的声音，朱可夫大声地叫值班员立即请斯大林接电话。
几分钟后斯大林拿起了电话，朱可夫向他报告了德军正在轰炸苏联各城市的消息，请示允许还击。电话的另一端长时间没有声音，朱可夫着急了，他连声问道：“你听懂我的意思了吗？你听懂我的意思了吗！”
4时30分，当铁木辛哥和朱可夫到达斯大林的办公室时，苏共全体高层都已经到齐。斯大林脸色苍白，坐在桌旁。他大声说道：“立刻给德国使馆打电话！”话刚说完，秘书推门进来，说德国大使舒伦堡要求接见，说是带来了紧急通知。莫洛托夫立即走了出去。
斯大林颓然坐在沙发上，胸部急促地起伏着，房间里没有人敢出声。长时间的寂静后，朱可夫打破沉默，建议立即动用边境各军区所有兵力强烈还击突入的敌军，制止其继续前进。铁木辛哥纠正说不是“制止”，而是歼灭。