张伯驹，河南项城人，生于光绪二十四年（1898年）。其父张镇芳为光绪壬辰科（1892年）进士，旋以候补道任永平府盐务总办、长芦盐运使，宣统朝官至署理直隶总督，北洋初期曾任河南都督等职，因与袁世凯同为项城名门，乃娶袁氏之妹为妻，结成通家之好。
伯驹幼时长于河南故里，7岁前往滦州省父，后随父移居天津，就读于家塾。宣统末年（1911年）春，与袁世凯4、5、6、7诸子一同就读新学。是年秋，辛亥革命爆发，遂依“小乱居于城，大乱避之乡”的旧规，仍回河南乡间避乱。
在河南陆军小学毕业后，伯驹随父入京，考入中央陆军混成模范骑兵团。该团初时由大总统袁世凯亲任团长，袁死后，北洋系军阀黎元洪出任民国大总统，并兼任骑兵团长。伯驹在该团毕业时，年方20岁。翌年，他到安徽督军倪嗣冲处任安武军全军营务处提调。