结束了戎马生涯的张曜，于光绪十一年(1885年)回到内地任职。光绪十二年调升为山东巡抚，直到五年后病逝于黄河大坝之上，他一直没有离开山东。百姓为了纪念他，在大明湖畔修建了张公祠，年年祭拜；而他带头栽种在黄河大坝附近道路上的柳树，至今被当地人称为“张公柳”。
一年有300天在大坝上度过
张曜在新疆用兵、戍守11年后，1885年奉命东归内地，调任广西巡抚。不久，又委派他去山东勘察河工。1886年，清廷正式任命他为山东巡抚。张曜到任后，为了防范水灾，狠抓治河工程。他认为山东境内黄河、运河河道均年久淤积，水流不畅，以致常患水灾，要想根治，
- 首先，必须疏浚通海河道；
- 其次，在徒骇河两岸增筑河堤；
- 再次，在疏浚和运输方面应该参用西法，以机船为主，提高工效。
据史料记载，他在整个治河工程中，凡事亲力亲为，一年三百六十五天中，有超过三百天都在大坝上监工。只要是与治理黄河有关，乡野农夫的建议他也会听取，全都记录下来仔细研究。
根据山东河道窄的特点，张曜提出了“分”与“疏”的治河主张。认为山东两岸堤工不够坚固，水涨易于漫决为患，需有分水的措施，故在齐河赵庄、刘家庙和东阿陶城铺各建水闸坝一座，以防异涨。光绪十三年（1887年），郑州十堡决口，山东黄河断流，他乘机对山东河道进行挑淤疏导。光绪十五年正月，黄河回归故道，正值凌汛时期，由于河道疏通，使冰水顺利入海。他鉴于当时黄河从牡蛎口入海不顺，乃因势利导，用机船疏挖，改由韩家墩入海，使河口通畅无阻。他曾说：
“治河如治病，泛滥冲决，此河之病也，淤滩沙嘴，横亘河流，此又致病之由也。”
他建议用平头圆船50只，每船配备16人，各带开挖工具，凡有河中淤滩沙嘴，水落登滩挑挖，水深则乘船淘爬。将挖出来的泥沙用小铁轨车运输，当时铺设的铁轨就有1080丈。
张曜任职期间，正逢山东各地遭受严重的水旱灾害，百姓灾难深重，身为一方地域的最高长官，他一面积极组织救灾，一面拿出自己的俸禄，并动员其他官员捐俸助赈，救活了不少灾民，因而深受百姓的爱戴。在治理黄河过程中，尽管他曾听信幕僚中有些人的错误主张，酿成过水患，但总体来说，还是功大于过。
为了防止河堤泥沙走失，张曜还带头植树造林，在黄河大坝和从洛口到市中心的路旁遍植柳树，形成了一道柳树风景带，后人称这些柳树叫“张公柳”。
随李鸿章来青“设防”
1888年，慈禧太后下懿旨命张曜帮办海军。第二年，又降旨加太子少保衔，会同检阅南北洋海军。
1891年，张曜陪同李鸿章在山东阅兵，张曜请李鸿章到青岛视察。据岛城文史学者鲁勇介绍，此前李鸿章只是在奏折和地图上多次看到“青岛”和“胶州湾”的字样，并没有亲自来过。李鸿章与张曜来到胶州湾，看到这里“口小澳大，寒冬不冻”。当时的青岛口已经是个小市镇，海船可趁潮进入青岛河顺岸停泊。如此规模的港口无兵驻防，附近的金家岭驻军也已经裁撤，如果敌人来犯，就可以没有任何抵御而将良港占为己有。
此行之后，李鸿章意识到胶州湾设防刻不容缓，再加上身为山东巡抚的张曜许诺将山东每年的海防捐全部用于胶州湾设防，设防所需的兵力也从本地抽调，二人马上草拟奏章上书朝廷。三日后，也就是当年的6月14日，光绪帝谕批：批准胶州湾设防。并下令将登州镇总兵衙门(相当于今省军区)移置青岛口，带兵四营，修筑炮台。此后，有关设防措施，便由张曜负责落实，当即调登州镇总兵章高元驻防胶州湾。
1990年，青岛市政府决定将1891年作为青岛建置之始，而1891年6月14日这个批准设防的日子就成了青岛诞生之日。有人说，这都是李鸿章上奏的结果，应称他为青岛城市的创始人，但这其中却也少不了张曜的一份功劳。或许很多人不知道，早在光绪十二年(1886年)朝廷就有意在胶州湾设防，但李鸿章却以“经费支绌”为由，把胶州湾摒于北洋海防体系之外。而五年后，正是在张曜的邀请下，他才终于认清了青岛口的重要性，具折上奏，力陈“胶澳设防，实为要图”。
虽然在青岛待的时间不长，但张曜为青岛建置做出了巨大贡献，而民间也流传着关于这位巡抚大人的轶事。青岛市十大藏书家王桂云，讲述了张曜在青期间发生的一段小故事。
一年冬天，张曜带领官员到青岛视察时，邀约学使(主管学政)、藩司(即布政使，负责一省行政)、臬司(主管一省司法)一起赏雪。席间，张曜笑着对学使说：“今日雪大佳，不可不联句。”学使回答：“很好。但联句须有次第，张公官最高，应先作，藩司次之，臬司又次之，我则宜最后。”张曜也不推辞，慢条斯理地吟出一句诗：“纷纷大雪空中舞。”藩司续上一句：“遍地银花如种土。”臬司也是从军队里出身的，他思索了半晌，才说出一句诗：“灰面堆满不吃山。”不吃山，应为不其山，又名铁骑山，位于崂山西北部。臬司误“其”为“吃”，以为雪虽如灰面但不可吃。学使最后作诗一句以嘲笑前三位：“雪土灰面成浆糊。”讥笑巡抚、藩司、臬司皆如浆糊。
病逝在黄河大坝上
1891年(光绪十七年)7月，张曜把青岛设防的事安排妥当后，又马不停蹄赶赴治黄第一线。一日，他正在黄河上监工，忽然“疽发于背”，被人护送回济南时病情已经十分严重，不久便不治身亡。病危之际，他仍不忘写信给李鸿章，先是陈述山东为北洋门户，应速添建炮台以防不测，又道出对新疆边境军情的看法。后李鸿章把他的遗疏上奏，光绪帝深为震悼，下诏赠太子太保，谥勤果，准予建祠。
张曜在黄河大坝上病逝的消息一传开，山东各地的老百姓都异常痛惜，张曜的属官、幕僚以及侍从都聚集于巡抚大院失声痛哭。出殡当日，济南百姓更是热泪滂沱，倾城相送，因百姓跪哭街巷，灵柩迟迟方得以登舟。为了纪念这位“张青天”，人们在大名湖畔建起了张公祠，老百姓将其视为黄河大王，意为水神。每逢黄河出现险情，人们就将河中的水蛇看成张大王的化身，请到张公祠或其它庙宇拜祭，祈祷化险为夷，赐福平安。传说黄河中水神很多，但它们身上各有不同的特征，因为张曜生前，皇帝曾赏他穿过黄马褂，他背上又生过疮，所以只要见到上半截黄色、中间有瘤状物的水蛇，老河工就认定它是张曜的化身。
张公祠内，有人专门撰写了一副对联：
“公有功若历山高，我欲琅琊刻石，徂徕摩崖，橥百战空群之伟绩；
灵其来兮靡笄下，谁持肥县碧桃，乐陵丹枣，歈九歌传舞以迎神。”
张曜祖籍钱塘，因此杭州也建有一祠，那里有一楹联云：
“新祠民祭祀；旧债帝偿还。”
怕老婆的巡抚大人
回顾张曜的一生，为官三十多年，前半程征战沙场，战功卓绝；晚年作为山东地区的最高长官，治理黄河、兴办水利、设防胶州湾，为百姓所敬仰。可就是这样一位文韬武略的张大人却是出了名的怕老婆。
1952年，毛泽东游览大明湖，来到北岸张公祠参观时突然问随行人员：“张曜怕婆子你们知道吗？”接着就讲了一个笑话：有一天，在巡抚大堂上，张曜突然问众幕僚：“你们都怕老婆吗？”众人回答：“不怕！”张曜听后大吃一惊说：“什么，你们竟然连老婆都不怕？”
张曜的老婆并不是蛮不讲理的悍妇，相反，张夫人是位知书达理、仪态端庄的女子。而这样一位夫人之所以会让张曜畏惧，是因为她的另一层身份—张曜的老师。当年张曜被刘毓楠一本参下文职之位，十分恼怒，于是下定决心读书认字，好一雪前耻。家里就有现成的老师，当他把求夫人教他念书的想法提出时，没想到夫人一改往日的温顺，正色回答道：“要教是可以的，不过要有一个条件，就是要行拜师之礼，恭恭敬敬地学。”张曜历来钦佩夫人满肚子的学问，一听这个条件，满口应承，马上穿起朝服，让夫人坐在孔子牌位前，对她行三拜九叩之礼，正式入门成了夫人的弟子。从此以后，凡公余时间，都由夫人教他读经史。每当他脑筋不转弯儿，或学习有些厌倦、懒惰，夫人一摆老师的架子，他就吓得躬身肃立听训，不敢稍有不敬。再加上此前他认字不多，上下公文多半是由夫人处理，所以也就养成了老婆说什么他都听的习惯。
巡抚怕老婆并不好笑，相反是他这种尊师重道以及与妻子平等相待的态度，在封建社会是极为少见的。在老婆的教导下，张曜手不释卷，文化修养大大提高，也使他对诸多政务能以豁达的胸襟坦然处之，无论是领兵追随左宗棠收复新疆，还是在山东巡抚任上治理黄河、兴办水利，他的战功政绩都可圈可点，不仅受到皇上的表扬，更赢得了百姓的爱戴。
