諱は真成。薩摩藩士・赤塚真矩の四男として生まれ、安政6年、後に「精忠組」と称される西郷吉之介（隆盛）らを中心とする尊王攘夷集団の結成に参画。船奉行見習・遊撃隊隊長を経て、慶応3年、薩摩がイギリスより購入した木製外輪船軍艦・春日艦の艦長となる。慶応４年１月、鳥羽・伏見の戦いの最中、兵庫から鹿児島への帰帆の途についた春日艦ら薩摩藩船団と、榎本武揚指揮下の開陽丸が阿波（現：徳島県）沖で交戦。薩摩船団は輸送船１隻を喪うも脱出に成功する。これが日本史上における初の汽動艦船同士での戦闘となった。赤塚はその後も春日を駆り戦場を転戦。箱館戦争では主力艦として海軍戦力の一翼を担うこととなる。