洪述祖的幼年生活是很孤苦的。其母被救后，即投娘家，渡江而北，轉徙數年，靠紡績度日，撫育遺孤。雖然生計艱難，但張氏對洪述祖的教育絲毫沒有放松，時時以高祖洪亮吉母親蔣氏督催幼年洪亮吉讀書的故事勉勵他，希望他日后也能夠成為一名學者。洪述祖曾有文字記述他6歲以后母親督學情形，謂：

    不孝六歲，太宜人令赴鄰塾，授《禮記》中庸大學二篇，日數行。夜篝燈，就短足幾，太宜人且織且督課，書聲、機聲相應和，恒至漏數下不止。鄰里憫太宜人勞苦，勸以不孝學賈，可得飽食，且速成。太宜人婉謝之曰：此子大宗一線也，忍令其墜先緒乎？且撫孤吾分內事，何敢以為苦。兒學不成，乃吾苦耳。遂詳述《機聲鐙影圖》事?！稒C聲鐙影圖》者，先高王父編修君（即洪亮吉;引者）為母蔣太宜人作也。編修君學行為海內宗仰，故太宜人每以為勖。聞者咸感嘆去，至有泣下者。繼而江南北悉平，宦游戚串稍與故鄉通耗，不孝姑母劉隨宦于皖，迎太宜人挈不孝往。姑死返常州，依先季父君沐先生于北岸里，不孝由是得從季父傳習經義，太宜人所至cao作如故。[8]

    洪述祖口中所謂季父君沐先生，是指其叔父洪彥哲。關于洪述祖由安徽姑母家返回常州后的讀書情況，他后來在《如水齋讀書志聞》自敘中是這樣記述的：

    同治己巳，述祖年十一，自皖之貴池還里，依季父君沐先生居北岸湯氏宅，從薛孝廉佳先生授讀《毛詩》，日以陸德明《釋文》寫注于下，《尚書》則以王西莊《后案》講解。夜歸，季父又自授《段氏說文》數十字。童稚無知，新苦其繁重，不甚解也。季父每過塾中，縱論經史，薛師輒有問難，娓娓至數小時不休。述祖課畢旁聽，雖不知其所以然，而耳習能詳，頗多記憶。少長，為制藝詞賦所溺，未暇及此。迨弱冠補弟子員，得昆山顧氏《日知錄》、高郵王氏《經義述聞》二書，日夜讀之，證以童塾舊聞，時有觸悟。恨季父久歿，無從就正。又館食無定，不能時從薛師質疑，或于歲暮相過，偶一商榷而已。是編經義各條，追憶季父、薛師舊說為多，間有己獲，不更標異，名曰《讀書志聞》，寫藏篋中，久未編校。[9]

    由洪述祖自敘可知，其少年至青年時期，走的也是當時一般讀書人的路子，攻讀經史詞賦，并參加科舉考試，但并不順利。虛齡20歲中秀才后，到光緒十二年（1886）為止，四試鄉闈均不售，于是橐筆外出，以游幕為生，曾先后佐理江西學政陳寶琛、江西巡撫潘霨、欽差大臣督辦福建軍務左宗棠及臺灣巡撫劉銘傳幕府。[10]其中在劉銘傳幕府最久。光緒十四年，臺灣商務局在英國訂造的駕時斯美兩艘快船行將造竣，劉銘傳命洪述祖帶領約百人，乘法國公司輪船前往英國紐卡斯爾驗收。[11]事后劉銘傳發現洪述祖有借機侵吞公款情節，遂上奏揭參，將其革職，并下淡水縣監獄。[12]

    光緒十九年（1893），洪述祖被系獄5年后重獲自由。次年，他北上天津，投靠同鄉、津海關道盛宣懷。時值中日戰事將發，洪述祖兩次被盛宣懷派赴朝鮮，辦理電報事務。就是在朝鮮，洪述祖結識了時任總理交涉通商事宜委員袁世凱。[13]平壤之役，清軍大敗，一路退過鴨綠江，朝鮮盡失。主帥葉志超及盛軍統領衛汝貴皆被朝廷嚴懲。洪親歷平壤之役，又先后在朝為衛汝貴、葉志超幕客，戰后遂有傳言，謂日本出兵朝鮮，系洪述祖與袁世凱勸葉志超進駐平壤所招致，又謂平壤之失系洪豎白旗投降所致，衛一路敗退亦系洪為主謀。種種不齒之事，皆加諸洪身，初時尚為口耳相傳，官私書籍皆未見記述，漸漸地，洪述祖的所謂丑史，成了小說家的創作素材，蘇同《無恥奴》中的主人公江念祖，就是以洪述祖為原型塑造的。迨民初刺宋案發生，報紙、筆記又紛紛揭載洪述祖的所謂丑史，然大多為不經之談，與史實相去甚遠。[14]不過，這些流言還是給洪述祖后來的生活帶來了不小的影響。劉厚生《張謇傳記》曾寫道：中日戰爭時，盛宣懷派述祖為前敵行營電報局長，因得衛汝貴之信任。汝貴失律正法后，述祖頗受惡名，非其罪也；但述祖因此極不得意。[15]

    戰后洪述祖回到了江蘇，一度在鎮江以行醫養家糊口，后又往上海謀生?；蛟S是希望不受外間流傳的各種謗言困擾，他漸漸不再使用洪熙這個名字，而改用洪述祖之名。其時，維新思潮興起，洪述祖與維新派人士多有往來。他曾與陳衍、陳季同等創刊《求是報》，譯述格致實學以及法律規則之書，任總理；[16]與陳季同、林崦等創辦大中公司，謀劃招股籌建蘇滬鐵路；[17]支持汪康年、梁啟超等發起不纏足會，擔任董事；[18]又主張戒煙，積極參與戒煙公會活動；[19]還針對以往武備弊病，提出建立新兵營的改革主張。[20]

    戊戌以后，洪述祖一度為南洋正律法官、三品頂戴英國頭等律師擔文延辦文案，時時假訟事婪索金錢，高下從心，滬上人人側目。[21]旋又為蘇松太兵備道兼江海關監督余聯沅延入幕府，會辦海防營務事宜，[22]頗得余之信任，人有小道之稱。[23]其間他曾參與籌劃東南互保相關事宜。[24]及余聯沅署理浙江巡撫，洪述祖仍佐其幕，權力極大，傅增湘說他把持浙政，聲勢赫奕，有lsquo;二巡撫之稱。[25]其間他曾協助余聯沅與法國駐上?？傤I事白藻泰及該國浙省總主教趙保祿等交涉，將浙江全省新舊天主教案及耶穌教案一律議結。[26]