派去的军政人员、不服从他的指挥、克扣军饷、虐待士兵、残害百姓、任用私人、心存异志等等。起先蒋介石还不相信，但是最后竟碍于薛岳的能力和其重要的位置，还是下令免去了方先觉的军长职务，调其任军事委员会高级参议;另委薛岳的心腹，广东人方日英为第10军军长。
当一纸电报发到第10军军部后，方先觉一看差点没昏厥过去。但是他没有办法，总不能骂自己的校长昏庸吧？无奈，只得办理移交手续完毕后回家休息，等待继任军长的到来。
正当薛岳得意洋洋，认为第10军就要到手的时候，日军于1944年5月下旬将在南京的前进指挥所推进至武汉，其派遣军总司令官畑俊六开始向国军发起了豫湘桂战役。5月18日，日军攻占长沙，此后又相继夺取醴陵、攸县等地，剑锋直指衡阳。
在衡阳的第10军军部里，继任军长还没到任。薛岳一看情势危急，只得拉下脸面，亲自电命仍在衡阳家里等待办理移交手续的方先觉代理第10军军务，负责指挥衡阳保卫战。
起初方先觉想难为薛岳，叫他知道我方先觉不是那种叫来就来，叫去就去的窝囊废，硬是推辞。这下可把薛岳急坏了，只得请示在重庆的委员长蒋介石。蒋介石在了解事情的来龙去脉后亲自给方先觉打电话。
此时在衡阳寓所正笑得欢的方先觉突然接到了蒋委员长的电话，深觉事态严重，想来这个气怄过头了。果然，电话那头的蒋介石大骂方先觉昏庸糊涂，厉声训斥道:“日军已经逼近衡阳，而你方先觉还在和战区长官怄气，置国家和民族大义于不顾，成何体统!你还是不是我黄埔军校学生?”这一通话倒把方先觉骂得无地自容，于是向蒋介石表态一定要积极布置、固守衡阳，发扬第十军的优良传统，坚决抗击日军的侵犯。
在衡阳攻防战前，方先觉特邀衡阳新闻界巡视全城，坚决表示死守衡阳城的决心。当日军临进城垣紧张状态时，方将军与新闻界友人握别，拿起腰间白朗宁手枪说：“这是打死我自己的。”讲话时，泪如雨下。
在夜间的军事会议上，方先觉也向全体与会军官表态，要坚守衡阳为第10军再次争光。
会后，方先觉又带着与会军官乘夜色朦胧之时，渡过湘江，到南岳衡山忠烈祠祭扫在第三次长沙会战中阵亡的全体第10军将士，并面对公墓祝祷道：
“先烈们，安息吧！先觉这次亲率全军，参加衡阳战役，誓以一死报国，坚决歼尽日寇，为诸先烈报仇，为10军争光！耿耿此心，对天可表，如有异志，天人不饶！”
说